三剑客-sed awk

Posted lbzyyy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了三剑客-sed awk相关的知识,希望对你有一定的参考价值。

 目录

1.sed

2.awk

1.sed

//sed命令
#语法说明:命令 参数 条件+处理= (指令) 处理文件信息
字符流编辑工具(行编辑工具)==按照每行中的字符进行处理操作
1). 擅长对行进行操作处理
2). 擅长将文件的内容信息进行修改调整/删除
3). 指令信息
p print 输出信息
i insert 插入信息,在指定信息前面插入新的信息
a append 附加信息,在指定信息后面附加新的信息
d delete 删除指定信息
s substitute 替换信息 s###g(全局替换)
c 替换修改指定的一整行信息
4). 参数信息
-n 取消默认输出
-r 识别扩展正则
-i 真实编辑文件(将内存中的信息覆盖到磁盘中)    
-e 识别sed命令多个操作指令
1.文件中添加信息的能力
2.文件中删除信息的能力 
1)删除单行信息
2)删除多行信息
3)删除有xx信息的行
4)删除第n行和第m行
5)取消空行显示
3.文件中修改信息的能力
1)修改信息
2)取出特定内容
3)进行备份
4)ni参数
4.文件中查询信息的能力
1)根据行号查询
a)显示单行信息
b)显示多行信息(连续)
c)显示多行信息(不连续)
2)根据内容查询
a)输出单行消息
b)输出多行消息(连续)
c)输出多行消息(不连续)
[root@lbz01 ~]# cat >person.txt<<EOF                           //创建测试环境
> 101,lbz,CEO
> 102,lsn,CTO
> 103,Alex,COO
> 104,yy,CFO
> 105,lbzyyy,CIO
> EOF
1.文件中添加信息的能力
[root@lbz01 ~]# sed 1i100,lsnyyy,UFO person.txt              //在文件第一行添加信息100,lsnyyy,UFO
[root@lbz01 ~]# sed $a108,lsnyyy,UFO person.txt              //在文件最后一行添加信息108,lsnyyy,UFO
[root@lbz01 ~]# sed 3alsn.txt person.txt                     //在第三行后面添加lsn.txt信息
[root@lbz01 ~]# sed 2ilsn.txt person.txt                     //在第二行前面添加lsn.txt信息
[root@lbz01 ~]# sed -e /lbz/ilsnn -e /lbz/albzy person.txt //在有lbz行的前面添加lsnn 后面添加lbzy信息
[root@lbz01 ~]# sed $a100
101 person.txt                    //添加多行信息
101,lbz,CEO
102,lsn,CTO
103,Alex,COO
104,yy,CFO
105,lbzyyy,CIO
100
101
2.文件中删除信息的能力
[root@lbz01 ~]# sed 3d person.txt                            1)删除单行信息
#删除第三行信息
[root@lbz01 ~]# sed 2,6d person.txt                          2)删除多行信息
#删除文件中第二行到第六行内容
[root@lbz01 ~]# sed /lbz/d person.txt                        3)删除有xx信息的行
#删除有lbz信息的行
[root@lbz01 ~]# sed 3d;6d person.txt                         4)删除第n行和第m行
#删除文件中第3行和第6行内容
[root@lbz01 ~]# sed -n /./p person.txt                       5)取消空行显示
#第1种方法
[root@lbz01 ~]# sed /^$/d person.txt
#第2种方法
[root@lbz01 ~]# sed -n /^$/!p person.txt
#第3种方法
3.文件中修改信息的能力
[root@lbz01 ~]# sed s#lbz#lbzz#g person.txt                  1)修改单个内容信息
#语法说明:sed s#原有内容#修改后内容#g 文件信息 
[root@lbz01 ~]# sed s/#lbzz/lbz/g person.txt
[root@lbz01 lbz]# ls                                           1)批量修改内容信息
aaa        lbz01.jpg  lbz05.jpg  lbz09.jpg  lbz_soft_link.jpg  ok.txt
alex.txt   lbz02.jpg  lbz06.jpg  lbz10.jpg  lbz.txt.bak        touch
error.txt  lbz03.jpg  lbz07.jpg  lbz.jpg    lsn.txt
info.log   lbz04.jpg  lbz08.jpg  lbz.log    lsny.txt
[root@lbz01 lbz]# ls lbz*.jpg|sed -r s#(.*)jpg#mv & 1txt#g
#批量修改文件的扩展名称 将lbzxx.jpg扩展名修改为lbzxx.txt
mv lbz01.jpg lbz01.txt
mv lbz02.jpg lbz02.txt
mv lbz03.jpg lbz03.txt
mv lbz04.jpg lbz04.txt
mv lbz05.jpg lbz05.txt
mv lbz06.jpg lbz06.txt
mv lbz07.jpg lbz07.txt
mv lbz08.jpg lbz08.txt
mv lbz09.jpg lbz09.txt
mv lbz10.jpg lbz10.txt
mv lbz.jpg lbz.txt
mv lbz_soft_link.jpg lbz_soft_link.txt
[root@lbz01 ~]# sed 2clsnn person.txt                        //替换修改指定的一整行信息
[root@lbz01 ~]# ip a s eth0|sed -rn s#^.*net(.*)/24.*#1#gp  2)取出特定内容
#语法说明:sed s#()#
#g 文件信息 后项引用前项进行替换修改
 10.0.0.200
[root@lbz01 ~]# sed -i.bak s#lbz#lbzy#g person.txt           3)进行备份
[root@lbz01 ~]# cat person.txt.bak
101,lbz,CEO
102,lsn,CTO
103,Alex,COO
104,yy,CFO
105,lbzyyy,CIO
[root@lbz01 ~]# sed -ni s#Alex#aaa#gp person.txt             4)ni参数
# ni和参数同时使用,会将文件内容进行清空
[root@lbz01 ~]# cat person.txt
103,aaa,COO
4.文件中查询信息的能力
[root@lbz01 ~]# cat >person.txt<<EOF                           //创建测试环境
> 101,lbz,CEO
> 102,lsn,CTO
> 103,Alex,COO
> 104,yy,CFO
> 105,lbzyyy,CIO
> EOF
1)根据行号查询
[root@lbz01 ~]# sed -n 3p person.txt                         a)显示单行信息
[root@lbz01 ~]# sed -n 1,3p person.txt                       b)显示多行信息(连续)
#显示第1行到第3行的信息
[root@lbz01 ~]# sed -n 1;3p person.txt                       c)显示多行信息(不连续)
#显示第1行和第3行的信息
2)根据内容查询
[root@lbz01 ~]# sed -n /lbz/p person.txt                     a)输出单行消息
[root@lbz01 ~]# sed -n /lbz/,/Alex/p person.txt              b)输出多行消息(连续)
#将有lbz到Alex行的信息都输出出来
[root@lbz01 ~]# sed -n /lbz/p;/Alex/p person.txt             c)输出多行消息(不连续)
#将有lbz和alex行的信息都输出出来
补充:批量重命名专业命令: rename
[root@lbz01 lbz]# rename .jpg .txt lbz*.jpg
#命令说明:命令 文件名称需要修改的部分信息 修改成什么信息 将什么样的文件进行修改 

2.awk

//awk
#语法说明:awk [参数] 模式-动作 文件
1).
擅长取列
2).擅长统计分析日志   
#符号用法:
 $1 $2 $3 : 取第几列信息
 $NF : 取最后一列
 $(NF-n) : 取倒数第几列
 $0 : 取所有列的信息
1. 排除信息
2. 查询信息
1)按照行号查询
a)查询单行信息
b)查询多行信息(连续)
c)查询多行信息(不连续)
2)按照内容查询
a)输出单行消息
b)输出多行消息(连续)
c)输出多行消息(不连续)
3)显示特定内容
3. 统计信息
1) 日志信息进行统计(计数) 
2) 对日志信息数值进行求和 
3) (数组)进行排序分析 
4) 匹配的条件信息
4. 替换信息
[root@lbz01 ~]# cat awk_test.txt                               //创建测试环境
Zhang    Dandan    41117397    :250:100:175
Zhang    Xiaoyu    390320151    :155:90:201
Meng    Feiyu  80042789    :250:60:50
Wu    Waiwai    70271111    :250:80:75
Liu    Bingbing    41117483    :250:100:175
Wang    Xiaohua  3515064655    :50:95:135
Zi    Gege    1986787350    :250:168:200
Li    Youjiu    918391635    :175:75:300
Lin Shaona  918391635    :250:100:175
1. 排除信息
[root@lbz01 ~]# awk $0~/^#|^$/ awk_test.txt                  //打印出文件中空行进行排除/文件中注释信息
[root@lbz01 ~]# awk $0!~/^#|^$/ awk_test.txt                 //文件中空行进行排除/文件中注释信息进行排除
补充:grep -Ev "^#|^$" 文件信息 
      sed -n /^#|^$/!p 文件信息
      awk /^#|^$/
2. 查询信息
1)按照行号查询
[root@lbz01 ~]# awk NR==2 awk_test.txt                        a)查询单行信息
#查询第2行信息
[root@lbz01 ~]# awk NR==2,NR==4 awk_test.txt                  b)查询多行信息(连续)
#查询第2行到第4行的信息
[root@lbz01 ~]# awk NR==2;NR==4 awk_test.txt                  c)查询多行信息(不连续)
#查询第2行和第4行的信息
2)按照内容查询
[root@lbz01 ~]# awk /Xiaoyu/ awk_test.txt                     a)查询单行信息
#查询有Xiaoyu的行的信息
[root@lbz01 ~]# awk /Xiaoyu/,/Waiwai/ awk_test.txt            b)查询多行信息(连续)
#查询有Xiaoyu的行到Waiwai的行信息
[root@lbz01 ~]# awk /Xiaoyu/;/Waiwai/ awk_test.txt            c)查询多行信息(不连续)
#查询有Xiaoyu的行和Waiwai的行信息
3)显示特定内容
[root@lbz01 ~]# awk /Xiaoyu/{print $1,$3} awk_test.txt                       //显示Xiaoyu的姓氏和ID号码
[root@lbz01 ~]# awk -F ":" /^Zhang/{print $3} awk_test.txt                   //显示姓氏是zhang的人,显示他的第二次捐款金额
100
90
[root@lbz01 ~]# awk -F "[ :]+" /^Zhang/{print $1,$2,$5} awk_test.txt         //显示姓氏是zhang的人,显示他的第二次捐款金额和他的名字
Zhang Dandan 100
Zhang Xiaoyu 90
[root@lbz01 ~]# awk -F "[ :]+" /^Zhang/{print $1,$2,$(NF-1)} awk_test.txt    //显示姓氏是zhang的人,显示他的第二次捐款金额和他的名字
[root@lbz01 ~]# awk $3~/^41/{print $1,$2,$3} awk_test.txt                    //显示所有以41开头的ID号码的人的全名和ID号码
Zhang Dandan 41117397
Liu Bingbing 41117483
[root@lbz01 ~]# awk $3~/1$|5$/{print $1,$2} awk_test.txt |column -t          //显示所有ID号码最后一位数字是1或5的人的全名
[root@lbz01 ~]# awk $3~/[1 5]$/{print $1,$2} awk_test.txt |column -t
[root@lbz01 ~]# awk $3~/(1|5)$/{print $1,$2} awk_test.txt |column -t
3. 统计信息
1) 日志信息进行统计(计数)
[root@lbz01 ~]# awk /^$/{i=i+1;print i} /etc/services                        //统计/etc/services文件中空行数量
[root@lbz01 ~]# awk /^$/{i=i+1}END{print i} /etc/services
17
[root@lbz01 ~]# awk /^#/{i++}END{print i} /etc/services                      //统计/etc/services文件中有井号开头的行
102
2) 对日志信息数值进行求和 
[root@lbz01 ~]#  awk $NF~/bash/{i=i+1}END{print i} /etc/passwd               //统计普通用户数量
4
[root@lbz01 ~]# awk $NF!~/bash/{i=i+1}END{print i} /etc/passwd               //统计虚拟用户数量
4
21
[root@lbz01 ~]# seq 10|awk {sum=sum+$1;print sum}                            //求和计算
1
3
6
10
15
21
28
36
45
55
4) 匹配的条件信息 
[root@lbz01 ~]# awk BEGIN{print "姓","名","QQ号","捐款记录"}{print $0}END{print "操作结束"} awk_test.txt |column -t
#BEGIN{} 在awk执行命令前做什么事情
 END{}   在awk执行命令结束之后做的操作
姓        名        QQ号        捐款记录
Zhang     Dandan    41117397    :250:100:175
Zhang     Xiaoyu    390320151   :155:90:201
Meng      Feiyu     80042789    :250:60:50
Wu        Waiwai    70271111    :250:80:75
#Liu      Bingbing  41117483    :250:100:175
Wang      Xiaohua   3515064655  :50:95:135
Zi        Gege      1986787350  :250:168:200
Li        Youjiu    918391635   :175:75:300
Lin       Shaona    918391635   :250:100:175
操作结束
4. 替换信息
[root@lbz01 ~]# awk $2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF} awk_test.txt   //显示Xiaoyu的捐款,每个捐款数值前面都有以$开头, 如$110$220$330
$155$90$201
补充:如何利用awk取出IP地址信息
[root@lbz01 ~]# ip a s eth0|awk -F "[ /]+" NR==3{print $3}
10.0.0.200
     求出测试文件中 所有人第一次捐款的总额和第三次捐款总额
[root@lbz01 ~]# awk -F ":" BEGIN{print "第一次总额","第三次总额"};/.*/{print$2,$4} awk_test.txt
第一次总额 第三次总额
250 175
155 201
250 50
250 75
250 175
50 135
250 200
175 300
250 175
[root@lbz01 ~]# awk -F ":" BEGIN{print "第一次总额","第三次总额"}{a=a+$2;b=b+$4}END{print a,b} awk_test.txt|column -t
第一次总额  第三次总额
1880        1486

版权属于:木丫头

转载必须声明

 

以上是关于三剑客-sed awk的主要内容,如果未能解决你的问题,请参考以下文章

三剑客-sed awk

Shell ❀ 三剑客 - Grep + Sed + Awk

Shell ❀ 三剑客 - Grep + Sed + Awk

Shell ❀ 三剑客 - Grep + Sed + Awk

awk && sed ====linux 三剑客之awk 命令

Linux三剑客grep/sed/awk