shell中awk及其常用命令

Posted 沉入深海

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了shell中awk及其常用命令相关的知识,希望对你有一定的参考价值。

不得不学的awk及其常用命令

一、工作原理:

逐行读取文本,默认以空格或tab分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。

1.awk与sed的区别

sed命令通畅用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后在进行处理。
awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示,在使用awk命令的过程中,可以使用逻辑操作符 “&&”表示“与” 、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算,如+、-、*、/、^

2.命令格式


awk 选项 ' 模式或条件 操作' 文件
awk -f 脚本文件 文件

awk常见的内建变量(可直接用)

FS:列分隔符。指定每行文本的字段分隔符,默认为空格或者制表位。与“-F”作用相同

3.awk常见的内建变量(可以直接使用)


FS:列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
NF:当前处理的行的字段个数。
NR:当前处理的行的行号(序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\\n’

4、按行输出文本内容:

新建一个testfile2文件


awk 'print' testfile2				#输出所有内容
awk 'print $0' testfile2.			#输出所有内容


awk 'NR==1,NR==3print' testfile2	#输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3)print' testfile2	#输出第 1~3 行内容

awk 'NR==1||NR==3print' testfile2		#输出第1行、第3行内容

awk '(NR%2)==1print' testfile2 		#输出所有奇数行的内容
awk '(NR%2)==0print' testfile2		#输出所有偶数行的内容

awk '/^root/print' /etc/passwd		#输出以 root 开头的行
awk '/nologin$/print' /etc/passwd		#输出以 nologin 结尾的行


把一条记录拿出来以分隔成多行内容

BEGIN模式
在处理指定的文本之前,需要限制性BEGIN模式中指定的动作;awk再处理指定的文本,之后在执行,END语句中,往往会放入打印结果等语句


awk 'BEGIN x=0;/\\/bin\\/bash$/x++;END print x' /etc/passwd		
#统计以/bin/bash 结尾的行数,等同于 grep -c "/bin/bash$"   /etc/passwd



我们再换一个打印以“/bin/sync”结尾的行。

5.按指定字段输出


awk -F ":" 'print $1' /etc/passwd 		#输出每行中(以空格或制表位分隔)的第1个字段

以":"为分隔符来分段,输出每行的第一个字段


awk -F ":" '$3<10print $1,$3' /etc/passwd	#输出第3个字段的值小于10的第1、3个字段内容

awk -F ":" '!($3<10)print' /etc/passwd 	#输出第3个字段的值不小于10的行

这里格式尤其需要注意!!

6.awk中的三元运算符


awk -F ":" 'max=($3>=$4)?$1:$3;print max' /etc/passwd		#($3>=$4)?$1:$3三元运算符,如果第3个字段的值大于第4个字段的值,则把第1个字段的值赋给max,否则第3个字段的值赋给max



awk -F ":" 'print NR,$0' /etc/passwd  #输出每行内容和行号


awk -F ":" '$7~"/bash"print $1' /etc/passwd	#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段


awk -F ":" '($1~"bin")&&(NF==7)print $2,$3' /etc/passwd	#输出第1个字段中包含bin且有7个字段的行的第2、3个字段

二、通过管道符号,双引号 调用shell命令

1.统计以冒号分隔的文本段落数

echo $PATH | awk 'BEGINRS=":";ENDprint NR'  
#统计以冒号分隔的文本段落数,END语句块中,往往会放入打印结果等语句

2.调用 wc -l 命令统计使用 bash 的用户个数


awk -F: '/bash$/print | "wc -l"' /etc/passwd	
#调用 wc -l 命令统计使用 bash 的用户个数,等同于 grep -c "bash$" /etc/passwd

3.查看当前内存使用百分比


free -m | awk '/Mem:/ print int($3/($3+$4)*100)'	#查看当前内存使用百分比

int整数型没小数点

4.查看当前CPU空闲率


top -b -n 1 | grep Cpu | awk -F ',' 'print $4' | awk 'print $1'		#查看当前CPU空闲率,(-b -n 1 表示只需要1次的输出结果)

5.调用w命令,并用来统计在线用户数


awk 'BEGIN while ("w" | getline) n++ ; print n-2"%"'	#调用w命令,并用来统计在线用户数


6.调用 hostname,并输出当前的主机名


awk 'BEGIN "hostname" | getline ; print $0'			#调用 hostname,并输出当前的主机名

7.getline使用(先getline则先换行)

  • 当getline左右无重定向符“<”或“|”时,getline作用于当前文件,读入当前文件的第一行给其后跟的变量var或$0;应该注意到,由于awk在处理getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
  • 当getline左右有重定向符“<”或“|”时,getline则作用于定向输入文件,由于该文件是刚打开,并没有被awk读入一行,只是getline读入,那么getline返回的是该文件的第一行,而不是隔行

以上是关于shell中awk及其常用命令的主要内容,如果未能解决你的问题,请参考以下文章

awk详解 数组

sed && awk工具 及一些常用的shell脚本

shell awk命令

shell编程

shell文件操作常用命令

用awk如何读取shell命令行上的参数(参数可以是带空格的)