shell中awk及其常用命令
Posted 沉入深海
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了shell中awk及其常用命令相关的知识,希望对你有一定的参考价值。
不得不学的awk及其常用命令
一、工作原理:
逐行读取文本,默认以空格或tab分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
1.awk与sed的区别
sed命令通畅用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后在进行处理。
awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示,在使用awk命令的过程中,可以使用逻辑操作符 “&&”表示“与” 、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算,如+、-、*、/、^
2.命令格式
awk 选项 ' 模式或条件 操作' 文件
awk -f 脚本文件 文件
awk常见的内建变量(可直接用)
FS:列分隔符。指定每行文本的字段分隔符,默认为空格或者制表位。与“-F”作用相同
3.awk常见的内建变量(可以直接使用)
FS:列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
NF:当前处理的行的字段个数。
NR:当前处理的行的行号(序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\\n’
4、按行输出文本内容:
新建一个testfile2文件
awk 'print' testfile2 #输出所有内容
awk 'print $0' testfile2. #输出所有内容
awk 'NR==1,NR==3print' testfile2 #输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3)print' testfile2 #输出第 1~3 行内容
awk 'NR==1||NR==3print' testfile2 #输出第1行、第3行内容
awk '(NR%2)==1print' testfile2 #输出所有奇数行的内容
awk '(NR%2)==0print' testfile2 #输出所有偶数行的内容
awk '/^root/print' /etc/passwd #输出以 root 开头的行
awk '/nologin$/print' /etc/passwd #输出以 nologin 结尾的行
把一条记录拿出来以分隔成多行内容
BEGIN模式
在处理指定的文本之前,需要限制性BEGIN模式中指定的动作;awk再处理指定的文本,之后在执行,END语句中,往往会放入打印结果等语句
awk 'BEGIN x=0;/\\/bin\\/bash$/x++;END print x' /etc/passwd
#统计以/bin/bash 结尾的行数,等同于 grep -c "/bin/bash$" /etc/passwd
我们再换一个打印以“/bin/sync”结尾的行。
5.按指定字段输出
awk -F ":" 'print $1' /etc/passwd #输出每行中(以空格或制表位分隔)的第1个字段
以":"为分隔符来分段,输出每行的第一个字段
awk -F ":" '$3<10print $1,$3' /etc/passwd #输出第3个字段的值小于10的第1、3个字段内容
awk -F ":" '!($3<10)print' /etc/passwd #输出第3个字段的值不小于10的行
这里格式尤其需要注意!!
6.awk中的三元运算符
awk -F ":" 'max=($3>=$4)?$1:$3;print max' /etc/passwd #($3>=$4)?$1:$3三元运算符,如果第3个字段的值大于第4个字段的值,则把第1个字段的值赋给max,否则第3个字段的值赋给max
awk -F ":" 'print NR,$0' /etc/passwd #输出每行内容和行号
awk -F ":" '$7~"/bash"print $1' /etc/passwd #输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F ":" '($1~"bin")&&(NF==7)print $2,$3' /etc/passwd #输出第1个字段中包含bin且有7个字段的行的第2、3个字段
二、通过管道符号,双引号 调用shell命令
1.统计以冒号分隔的文本段落数
echo $PATH | awk 'BEGINRS=":";ENDprint NR'
#统计以冒号分隔的文本段落数,END语句块中,往往会放入打印结果等语句
2.调用 wc -l 命令统计使用 bash 的用户个数
awk -F: '/bash$/print | "wc -l"' /etc/passwd
#调用 wc -l 命令统计使用 bash 的用户个数,等同于 grep -c "bash$" /etc/passwd
3.查看当前内存使用百分比
free -m | awk '/Mem:/ print int($3/($3+$4)*100)' #查看当前内存使用百分比
int整数型没小数点
4.查看当前CPU空闲率
top -b -n 1 | grep Cpu | awk -F ',' 'print $4' | awk 'print $1' #查看当前CPU空闲率,(-b -n 1 表示只需要1次的输出结果)
5.调用w命令,并用来统计在线用户数
awk 'BEGIN while ("w" | getline) n++ ; print n-2"%"' #调用w命令,并用来统计在线用户数
6.调用 hostname,并输出当前的主机名
awk 'BEGIN "hostname" | getline ; print $0' #调用 hostname,并输出当前的主机名
7.getline使用(先getline则先换行)
- 当getline左右无重定向符“<”或“|”时,getline作用于当前文件,读入当前文件的第一行给其后跟的变量var或$0;应该注意到,由于awk在处理getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
- 当getline左右有重定向符“<”或“|”时,getline则作用于定向输入文件,由于该文件是刚打开,并没有被awk读入一行,只是getline读入,那么getline返回的是该文件的第一行,而不是隔行
以上是关于shell中awk及其常用命令的主要内容,如果未能解决你的问题,请参考以下文章