shell四剑客awk

Posted 2020-10-19

(1) awk原理

 awk的原理是逐行处理文件中的数据，查找与命令行所给定内容相匹配的内容，如果发现匹配内容，则进行下一步编程。如果找不到匹配内容，则继续处理下一行。

(2) awk实战

  <1> jfedu.txt文件中，查找jd.com这一行，在屏幕上打印出来(用awk和sed进行查找)

     sed  -n  '/jd.com/p' jfedu.txt       awk  '/jd.com/'   jfedu.txt

  注释：

               awk 和 sed 一样同样具有查找功能，不同的是awk进行查找时不需要加p参数

 

  <2> jfedu.txt文件中，查找jd.com 和  baidu.com 这一行 ，在屏幕上打印出来(用awk和sed进行查找)

     sed   -n  '/jd.com/,/baidu.com/p'  jfedu.txt           awk '/jd.com/,/baidu.com/'  jfedu.txt

  <3> jfedu.txt文件中，打印第一列和第二列   

     awk '{print $1,$2}'  jfedu.txt

  <4> jfedu.txt文件中，如写成这个样式（例如：1:2:3:4:5），用awk 打印出数字来（不要把:打印出来）

      sed 's/:/ /g' jfedu.txt | awk '{print $1,$2,$3,$NF}'

   注释： 

              $1 $2  $3   表示打印第一列  第二列  第三列

              $NF  表示打印最后一列

   <5> jfedu.txt文件中，打印第一行和第一列

       awk  '{print NR,$1}' jfedu.txt

   <6> 打印jfedu.txt全部内容

      awk  '{print $0}' jfedu.txt

    <7> 查看access.log日志文件，查找排名前20位的ip, 从小到大进行排列，去掉重复的ip

      awk '{print $1}'  access.log  | sort -nr|  uniq-c |  sort -nr|  head -20

     <8> 查看access.log日志文件， 查找9:00 - 10:00 ， 查找排名前20名的ip, 从小到大进行排列，去除重复ip

      awk '/9:00/,/10:00/' access.log |  awk '{print $1}'  access.log  | sort -nr|  uniq-c |  sort -nr|  head -20

      <9> 用df -h  查看磁盘分区  ，要求： 只查看大于等于第二行的内容 ，第一列

       df -h | awk 'NR>=2 {print $1}'

      <10> 打印passwd密码文件的第一列，并把输出的内容追加到name.csv文件中

        awk -F: '{print $1}' /etc/passwd >name.csv

       <11> awk 以冒号进行切割,  打印passwd文件的第一列和最后一列，但只显示第三行和第五行

         awk -F: 'NR==3,NR==5 {print $1}' /etc/passwd

       <12> awk指定文件jfedu.txt文件中第一列的总和

         cat jfedu.txt| awk '{sum+=$1}END {print sum}'

        <13> awk NR 行号除于2余数为0，则跳过这行，继续执行下一行，打印在屏幕上

          awk -F: 'NR%2==0 {next} {print NR , $1}'  /etc/passwd      

         <14> awk NR 行号除于2余数为1，则跳过这行，继续执行下一行，打印在屏幕上

           awk -F: 'NR%2==1 {next} {print NR , $1}'  /etc/passwd

          <15> awk分析nginx日志状态码是404，502等错误页面，打印出页面打开时间，用户访问ip, ，用户访问页面的地址，并对ip从小到大进行排序，查看排在前

                   20的ip

            awk -F: '$9~/404|301|502|/ {print $1,$7,$9,$NF}' access.log | sort -nr| uniq-c |  sort -nr | head -20|