awk命令使用经验

Posted 2020-10-19 慢慢来

1.为什么要使用awk

举一个简单的例子，作为一个java开发人员，在查看日志服务器（即时保存所有线上环境的日志）上的日志的时候，由于部署了服务的服务器不止一台，当想要查找某一个特定信息的时候，由于不清楚该特定信息在那台服务器上，所以一般都是全量的搜的

比如

grep  \'specialInfo\'   /project/myApplication/10.*/log/info.log

或者想要追踪是否某一台服务器才产生某信息时

tail -f  /project/myApplication/10.*/log/info.log |grep  \'specialInfo\'

好的，现在我们能找到具体的这个信息出现时的日志了。

但是，这个日志是在哪个ip的服务器上啊....

简单的命令这时候好像不能满足这个需求。而产生线上问题的时候，往往时间都很宝贵，需要迅速定位问题的原因以及问题的影响

所以我觉得掌握一些能够快速筛选日志的手段还是很有必要的

而awk则是对日志这个具有规则的文本进行筛选的一个很好的手段

2.awk基础

awk 支持以制定的分隔符将一行文本切成多段    默认是使用空格作为分隔符  也可以通过-f命令来进行替换   例如awk -f, 则以逗号作为分隔符

分隔后的文本可以用符号来表示  $0 表示整行    $1表示分割后的第一段文本    $2表示第二段  依次类推， 

NF是代表该行的数量 那么用NF-1就能取到倒数第二列

以上是最基础的，那么接下来我们想找一下第二列大于15的行的第三列  两种方式都可以起到过滤的作用

 

awk中 如果用BEGIN{命令1}{命令2}{命令3}End{命令4}的话  1会首先执行，2和3 会对每行输入执行，4则会最会执行

命令是以花括号来分隔的，可以进行嵌套 下面的        BEGIN{{命令1}{命令2}}

再来一个比较有用的   awk -v 可以设置变量     下面就是当第二列大于15的时候 i会增加1 每行都打印

 

正则表达式

~ \\regex\\     ~! \\regex\\

~是包含       ~! 是不包含

再来个统计

sum       下面利用sum数组 统计第一列都有哪几种，出现了几次

awk还有很多其他的功能，以后用到了再在这个补充，基础部分我就简单写这么一点

3.awk实际应用

 有了上面的基础，解决1中的问题就很简单了

1、tail -f 多个文件时查看文件的具体路径

tail -f 多个文件时，在切换文件的时候会首先打印      ==> fileName<==

那么就利用这一点       

tail -f ../project/myApp/10.*/log/cron.log |awk \'$1 ~/==>/{i=$2} {print $0"--------"i}\'

上面这行命令就是在输出中定义一个变量 i   然后当行里面有==>时，将文件路径保存在i中， 然后打印每一行的内容，后缀加上文件名，这样每当切换文件的时候i就会更新，就能够实现功能

2、cat 多个文件的时候查看文件的路径  和上面的类似，直接读内联变量FILENAME 就可以了，grep继续查找要找的内容

awk \'{i=FILENAME} {print $0"--------"i}\' ../project/facrm.ms.netease.com/10.*/log/*.log |grep  find

3、查找某个文件中包含某个字符串 且不包含某个字符串 并统计这种的数量

判断第一列包含1然后所有行不包含6 统计整列出现的次数

awk \'{if($1 ~/1/){if($0 ~! /6/){sum[$0]++}}}END{for(i in sum){print i,sum[i]}}\' test

 

 这种感觉存着比较好，之后稍微改改直接用，之后有业务场景了在补充啦