|
|
相关文章推荐
${ } 引用变量的高级用法
字符串删除：
删除开头或结尾的整段字符串
${变量#匹配规则} //从头开始匹配，最短删除；
${i#*,}
以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）
${变量##匹配规则} //从头开始匹配，最长删除；
以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后第一个逗号）
${变量%匹配规则} //从尾开始匹配，最短删除；
${i%,*} // 右往左 以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）
${变量%%匹配规则} //从尾开始匹配，最长删除；
${i%%,*} //右往左 以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后一个逗号）
删除中间的某个字符或单词
${变量/pattern/} //删除第一次被pattern匹配到的字符或字符串
${变量//pattern/} //删除所有被pattern匹配到的字符或字符串
${变量/#pattern/} //删除开头被pattern匹配到的字符或字符串
${变量/%pattern/} //删除结尾被pattern匹配到的字符或字符串
字符串替换
${变量/旧字符串/新字符串} //替换变量内的旧字符串为新字符串，只替换第一次匹配到的
${变量//旧字符串/新字符串} //替换变量内的旧字符串为新字符串，全部替换
${变量/%旧字符串/新字符串} //替换变量内的旧字符串为新字符串，只替换结尾的
${变量/#旧字符串/新字符串} //替换变量内的旧字符串为新字符串，只替换开头的
字符串切片
${#变量名} //获取字符串长度
${变量名:开始的下标值:截取长度} //截取字符串，字符的下标值（索引）从0开始
三剑客：
按行读取后处理。
grep 过滤行内容。
awk 过滤字段。
sed 过滤行内容；修改行内容
sed:
sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。
sed的工作流程
读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。
执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行
显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。
格式：
sed -e '操作' 文件1 文件2
sed -n -e '操作' 文件1 文件2
sed -f 脚本文件 文件1 文件2
sed -i -e '操作' 文件1 文件2
多文件：
sed -n -e '操作1' -e '操作2' 文件
sed -n -e '操作1;操作2' 文件
sed -e 'n{
操作1
操作2
......
}' 文件1
选项 作用
-e 或--expression= 表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file= 表示用指定的脚本文件来处理输入的文本文件
-h 或--help 显示帮助
-n、--quiet或--silent 禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i 直接修改目标文本文件
操作 作用
s 替换，替换指定字符
d 删除，删除选定的行
a 增加，在当前行下方增加一行指定内容
i 插入，在选定行上方插入一行指定内容
c 替换，将选定行替换为指定内容
y 字符转换，转换前后的字符长度必须相同
p 打印行内容。如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
=打印行号
l (小写L)打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）
增删改查： i d s p
增：a i r 分别对应 行后添加 行前插入 行后读入
sed '6r hh.txt' ff.txt //在第6行下方读入hh.txt文件内容
sed '1,3i 77' ff.txt //在第1~3行每行的上方，添加一行内容
sed '1a 22\n33\n44' ff.txt //在第一行下方添加3行内容
sed '3d' ff.txt //删除第3行
sed '5,8d' ff.txt //删除第5~8行
sed '$d' ff.txt //删除最后一行
sed 'd' ff.txt //删除所有行
sed '1,+3d' ff.txt //删除第1行及后面3行（即删除第1~4行）
sed '6!d' ff.txt //除了第6行，其他都删除
sed '6,$!d' ff.txt //除了第6行到最后一行，其他都删除
改：scy 替换字符串 整行替换 字符替换（替换前后字符串长度相同）
行范围 s/旧字符串/新字符串/替换标记
s:替换字符串
#4种替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表面新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w 文件：将替换的结果写入文件中
sed -n '/root/p' pass.txt //打印所有包含root的行
sed -n 's/root/aaa/2p' pass.txt //将匹配行的第2个root替换成aaa
sed -n 's/root/aaa/gp' pass.txt //将匹配行的所有root替换成aaa
sed -n -f 1.sh pass.txt //指定1.sh文件来执行
sed '1,5 s/^/#/' ff.txt >out1.txt //重定向全文本
s后面的第一个字符就是分隔符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符需要使用 \ 转义成普通字符
sed -n 's//bin/bash//sbin/nologin/p' pass.txt 分隔符为"/"
sed -n 's#/bin/bash#/sbin/nologin#p' pass.txt #作为分割符
sed -n 's!/bin/bash!/sbin/nologin!p' pass.txt !作为分隔符
整行替换 c
sed '/fo/c 22' ff.txt //将包含fo的行，整体替换成22
单字符替换 y
sed 'y/no/25/' ff.txt 遇到n替换成2，遇到o替换成5
查：
不加-n，却使用p操作，那么每行内容会打印两次。
sed -e "p" ：每行内容打印两次。
sed -n "p" ：每行内容只打印一次
sed -e 'p' ff.txt //每行内容会打印两次
sed -n -e 'p' ff.txt //每行内容只打印一次
'n' 打印行号
sed -n '=' ：只打印行号。
sed -e 'n' : 打印行号和行内容。
sed -n '=;p' ：打印行号和行内容。
sed -n '=' ff.txt //只打印行号
sed -e '=' ff.txt //打印行号和行内容
sed 执行多条命令的三种方法。
sed -n -e '=' -e 'p' file.txt
sed -n -e '=;p' file.txt
sed -n '
=
p
' file.txt
'l' 打印文本即隐藏字符（结束符$，制表符\t）。
sed -n 'l' ff.txt
sed 对指定行进行操作
以数字形式表示行区间；
用文本模式（字符串）来过滤出行（一般结合正则表达式）
以数字形式表示行区间：
操作 含义
'1p' 打印第一行
'$p' 打印最后一行
'1,3p' 打印连续行，打印第一行到第三行
'6,$p' 打印第六行到最后一行
'1,+3p' 打印第一行加后面三行（即打印第一到第四行）
'5q' 打印前五行后退出
'p;n' 打印奇数行
'n;p' 打印偶数行
使用字符串匹配出行：
操作 含义
'/root/p' 打印包含root的行
'/root/!p' 打印不包含root的行。! 表示取反
'/^root/p' 打印以root开头的行
'/bash$/' 打印以bash结尾的行
'/root l bash/p' 打印包含root或bash的行。"l"是扩展正则表达式的元字符，要使用sed -r
'6,/root/p' 打印第6行到第一个包含root的行
以数字形式表示行区间
sed -n -e '1p' -e '5p' ff.txt //打印第一行、第五行
打印连续的行，使用逗号
sed -n '6,$p' ff.txt
打印第1~5行的三种方法：
sed -n '1,5p' ff.txt
sed -n '1,+4p' ff.txt
sed -e '5q' ff.txt
使用sed输出奇数行或者偶数行
'n' ：next，读取下一行。
'p' ：打印当前所在行。
打印除了第一行以外的奇数行
sed -n '2,${n;p}' ff.txt
sed -n 'p;n;p' ff.txt
sed -n 'n;p;n' ff.txt
sed 复制粘贴
#vi//vim编辑器：
命令模式
dd p 剪切 粘贴
yy p 复制 粘贴
末行模式
:1,3 co 10 复制 粘贴（将第1~3行复制粘贴到第10行下方）
:1,3 m 10 剪切 粘贴（将第1~3行剪切到第10行下方）
#sed命令：
H复制、d删除、G粘贴到指定行下方
sed '1,3 {H;d};$G' ff.txt //将第1~3行剪切粘贴到最后一行下方
sed '1,3 {H;d};5G' ff.txt //将第1~3行剪切粘贴到第5行后面
文件内容中的字符串进行互换
echo 111222333|sed -r 's/(111)(222)/\2\1/' 将2个字符串交换位置
echo 111222333|sed -r 's/(111)(222)(333)/\3\2\1/' 将3个字符串交换位置
总结：
sed的核心功能：增删改查（可配合正则表达式）
查： p
删： d
改： s（字符串替换）、c（整行替换）、y（对应字符进行替换，效果类似tr命令）
增： i（在行前插入内容）、a（在行后添加内容）、r（在行后读入文件的内容）
复制粘贴：H（复制）、d（删除）、G（粘贴到指定行下方）
sed对指定行操作：
以数字形式表示行区间
用字符串来过滤行
sed -i 可以直接修改文件内容，操作前建议先验证命令和备份目标文件
删除空行的三种方法：
grep -v "^$" file.txt //过滤出非空行
cat file.txt |tr -s "\n" //压缩换行符
sed '/^$/d' file.txt //删除空行
查找替换:
行范围 s/旧字符串/新字符串/替换标记
s/旧字符串/新字符串/2 #代表对每行第二个匹配到的字符串进行替换
g #代表对每行所有能匹配到的字符进行替换
p #可以结合-n 选项只打印替换的行内容
w #可以把替换的行内容保存到指定的文件中
n,m s/旧字符串/新字符串/ #指定第n行到第m行，将旧字符串替换成新字符串
/字符串+正则/ s/旧字符串/新字符串/ #过滤出想要的行，之后进行替换
s/^/添加的字符/ #行首添加内容
s/$/添加的字符/ #行尾添加内容
sed -f 文件 #指定脚本文件来执行，可以在文件中定义多条操作规则
sed指定字符串的分隔符，就看s后面跟的字符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符则需要使用\来转义。
例如：s#/bin/bash#/sbin/nologin#g
awk
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
awk倾向于将一行分成多个"字段"然后再进行处理。
awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
使用awk命令的过程中，可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方
awk的命令格式：
awk 选项 '模式或条件 {操作}' 文件1 文件2...
awk -f 脚本文件 文件1 文件2
注意：
注意一定是单引号：'模式或条件 {操作}'
{ }外指定条件，{ }内指定操作。
用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
内建变量，不能用双引号括起来，不然系统会把它当成字符串。
内置变量 含义
$0 当前处理的行的整行内容
$n 当前处理行的第n个字段（第n列）
NR 当前处理的行的行号（序数）
NF 当前处理的行的字段个数。$NF代表最后一个字段
FS 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS 输出内容的列分隔符
FILENAME 被处理的文件名
RS 行分隔符。awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是"\n"
按行输出内容
$0表示当前行的整行内容
输出所有内容。逐行读取，$0表示当前行的整行内容。
awk '{print $0}' ff.txt //输出所有内容
awk '{print}' ff.txt //输出所有内容
打印行号和整行内容。
awk '{print NR,$0}' ff.txt
打印1到3行。逗号表示连续的行内容。&&表示”且“。
awk 'NR==1,NR==3 {print $0}' ff.txt //打印1到3行
awk '(NR>=1)&&(NR<=3) {print}' ff.txt
打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
awk '(NR%2)==1 {print}' ff.txt //打印奇数行
awk '(NR%2)==0 {print}' ff.txt //打印偶数行
$n 表示当前处理行的第n个字段
2、注意符号"||"（表示“或“）
awk '(NR>=1)||(NR<=3) {print}' ff.txt //打印所有行
awk '(NR==1)||(NR==3) {print}' ff.txt //打印第1行、第3行
打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
$n 表示当前处理行的第n个字段
ifconfig ens33| awk 'NR==2{print $2}'
通过文本模式（匹配字符串）过滤出行
和正则表达式结合，通过匹配字符串过滤出想要的行。
awk '/root/ {print}' pass.txt //使用awk命令
sed -n '/root/p' pass.txt //使用sed命令
BEGIN模式
awk 'BEGIN{...};{...};END{...}' 文件
#处理过程：
1、在awk处理指定的文本之前，需要先执行BEGIN{...}模式里的命令操作;
2、中间的{...} 是真正用于处理文件的命令操作；
3、在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句
awk 'BEGIN{x=0};/bash$/{x++};END{print x}' pass.txt
grep -c 也可以统计匹配行的行数。
grep -c "bash$" pass.txt
按字段（列）输出内容
指定列分隔符的两种方式：使用-F 或 使用内建变量FS。
使用 -F 指定分隔符。
awk -F ':' '{print $1,$3}' /etc/passwd
将内建变量FS 重新赋值。
awk 'BEGIN {FS=":"};{print $1,$3}' /etc/passwd
打印UID大于500的用户、打印UID小于等于500的用户（!取反）
awk -F: '$3>500 {print $1,$3}' /etc/passwd
使用if语句
awk -F: '{if($3>500) {print $1,$3}}' /etc/passwd
三元运算符
Java和Shell中的三元运算符
awk -F: '{max=($3>=$4)?$3:$4;{print max,$1}}' /etc/passwd
$NF、$n~、$n!~、$n==、$n!=
~ 表示包含，!~ 表示不包含，== 表示等于，!= 表示不等于
$n> < == //用于对比数值
$n~"字符串" //代表第n个字段 包含 某个字符串的作用
$n!~"字符串" //代表第n个字段 不包含 某个字符串的作用
$n=="字符串" //代表第n个字段 为 某个字符串的作用
$n!="字符串" //代表第n个字段 不为 某个字符串的作用
awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n"。
指定冒号作为分隔符，打印行号和整行内容。
echo $PATH
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'
通过管道处理其他命令的结果
处理完文本后，打印行号，这个行号就是最后一行的行号，也就是行数。（这种方式只适用于输出所有行的情况，即只能统计全文本有多少行）
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'
使用 "grep -c" 统计匹配行的行数。
统计内存使用率
free命令可以查看内存使用情况。
使用率=使用的内存数量/总内存数量。
int表示取整数。
过滤出CPU的空闲率
top命令可以查看CPU的使用情况。
top -b -n 1 只会输出一次top的结果 不会进行刷新
指定输出时的列分隔符
FS 输入时的列分隔符。
OFS 输出内容的列分隔符
echo "A B C D" |awk 'BEGIN{OFS="|"};{$1=$1;print $0}'
使用awk去重（awk数组特性）
awk 'BEGIN{a["abc"]=10 ;a["xyz"]=20; print a["abc"]}'
打印数组内的所有元素值及对应下标值。
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30; for(i in a){print i,a[i]}}'
推荐文章