shell四剑客awk

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了shell四剑客awk相关的知识,希望对你有一定的参考价值。

(1) awk原理

 awk的原理是逐行处理文件中的数据,查找与命令行所给定内容相匹配的内容,如果发现匹配内容,则进行下一步编程。如果找不到匹配内容,则继续处理下一行。


(2) awk实战


  <1> jfedu.txt文件中,查找jd.com这一行,在屏幕上打印出来(用awk和sed进行查找)

     sed  -n  '/jd.com/p' jfedu.txt       awk  '/jd.com/'   jfedu.txt

  注释:

               awk 和 sed 一样同样具有查找功能,不同的是awk进行查找时不需要加p参数

 

  <2> jfedu.txt文件中,查找jd.com 和  baidu.com 这一行 ,在屏幕上打印出来(用awk和sed进行查找)


     sed   -n  '/jd.com/,/baidu.com/p'  jfedu.txt           awk '/jd.com/,/baidu.com/'  jfedu.txt


  <3> jfedu.txt文件中,打印第一列和第二列   

     awk '{print $1,$2}'  jfedu.txt


  <4> jfedu.txt文件中,如写成这个样式(例如:1:2:3:4:5),用awk 打印出数字来(不要把:打印出来)

      sed 's/:/ /g' jfedu.txt | awk '{print $1,$2,$3,$NF}'

   注释: 

              $1 $2  $3   表示打印第一列  第二列  第三列

              $NF  表示打印最后一列


   <5> jfedu.txt文件中,打印第一行和第一列

       awk  '{print NR,$1}' jfedu.txt


   <6> 打印jfedu.txt全部内容

      awk  '{print $0}' jfedu.txt


    <7> 查看access.log日志文件,查找排名前20位的ip, 从小到大进行排列,去掉重复的ip

      awk '{print $1}'  access.log  | sort -nr|  uniq-c |  sort -nr|  head -20


     <8> 查看access.log日志文件, 查找9:00 - 10:00 , 查找排名前20名的ip, 从小到大进行排列,去除重复ip

      awk '/9:00/,/10:00/' access.log |  awk '{print $1}'  access.log  | sort -nr|  uniq-c |  sort -nr|  head -20


      <9> 用df -h  查看磁盘分区  ,要求: 只查看大于等于第二行的内容 ,第一列

       df -h | awk 'NR>=2 {print $1}'


      <10> 打印passwd密码文件的第一列,并把输出的内容追加到name.csv文件中

        awk -F: '{print $1}' /etc/passwd >name.csv


       <11> awk 以冒号进行切割,  打印passwd文件的第一列和最后一列,但只显示第三行和第五行

         awk -F: 'NR==3,NR==5 {print $1}' /etc/passwd


       <12> awk指定文件jfedu.txt文件中第一列的总和

         cat jfedu.txt| awk '{sum+=$1}END {print sum}'


        <13> awk NR 行号除于2余数为0,则跳过这行,继续执行下一行,打印在屏幕上

          awk -F: 'NR%2==0 {next} {print NR , $1}'  /etc/passwd      


         <14> awk NR 行号除于2余数为1,则跳过这行,继续执行下一行,打印在屏幕上

           awk -F: 'NR%2==1 {next} {print NR , $1}'  /etc/passwd


          <15> awk分析nginx日志状态码是404,502等错误页面,打印出页面打开时间,用户访问ip, ,用户访问页面的地址,并对ip从小到大进行排序,查看排在前

                   20的ip

            awk -F: '$9~/404|301|502|/ {print $1,$7,$9,$NF}' access.log | sort -nr| uniq-c |  sort -nr | head -20|

        

以上是关于shell四剑客awk的主要内容,如果未能解决你的问题,请参考以下文章

SHELL编程四剑客练习--sed

SHELL编程四剑客练习--grep

SHELL编程四剑客练习--awk

Linux Shell编程四剑客-awk

shell 编程四剑客之SED

shell四剑客awk