shell之awk

Posted 2023-04-16

参考技术A 一个强大的文本分析工具，把文件逐行的读入，
以空格为默认分隔符将每行切片，
切开的部分再进行分析处理。

搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割。

注意：只有匹配了pattern的行才会执行action

只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell;在最后一行添加"bg，/bin/bg"。

注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。

将passwd文件中的用户id增加数值1并输出

统计passwd文件名，每行的行号，每行的列数

切割IP

​查询sed.txt中空行所在的行号

shell三剑客之awk

shell三剑客之awk

• • 工作原理
  • 命令格式
  • awk常见的内建变量
  • 按行输出文本内容
  • 按字段输出文本内容
  • 通过管道、双引号调用 Shell 命令

工作原理

• 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理
• 在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

命令格式

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …

awk常见的内建变量

FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段（第n列）。
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\\n’

按行输出文本内容

按行输出所有内容
方法一：
awk '{print}' 文件	

方法二		    
awk '{print $0}' 文件 	

awk 'NR==1,NR==3{print}' 文件名	      /输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3){print}' 文件名	  /输出第 1~3 行内容
awk 'NR==1||NR==3{print}' 文件名       /输出第1行、第3行内容

awk '(NR%2)==1{print}' 文件名 		/输出所有奇数行的内容
awk '(NR%2)==0{print}' 文件名		/输出所有偶数行的内容

awk '/^root/{print}' /etc/passwd           /输出以 root 开头的行
awk '/nologin$/{print}' /etc/passwd        /输出以 nologin 结尾的行

统计以/bin/bash 结尾的行数
方法一：
awk 'BEGIN {x=0};/\\/bin\\/bash$/{x++};END {print x}' /etc/passwd		
/BEGIN-->执行命令  END-->输出结果

方法二：
grep -c "/bin/bash$" /etc/passwd

按字段输出文本内容

输出/etc/passwd中每行中以“：”分隔的第3个字段
awk -F ":" '{print $3}' /etc/passwd 

输出/etc/passwd每行中的第1、3个字段
awk -F ":" '{print $1,$3}' /etc/passwd

如果第三字段值小于5，就输出第1，第3字段
awk -F ":" '$3<5{print $1,$3}' /etc/passwd

输出第3个字段的值大于1000的所有行
awk -F ":" '!($3<=1000){print}' /etc/passwd
或
awk 'BEGIN {FS=":"};{if($3>1000){print}}' /etc/passwd
输出第3个字段的值大于1000的行，先执行BEGIN的内容，再打印文本里面的内容

如果第3个字段的值大于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
awk -F ":" '{max=($3>$4)?$3:$4;{print max}}' /etc/passwd	
/使用三元运算符来满足条件($3>$4)?$3:$4

输出每行内容和行号  
awk -F ":" '{print NR,$0}' /etc/passwd     /NR为行号

输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F ":" '$7~"/bash"{print $1}' /etc/passwd

如果第1个字段中包含root并且一行只有7个字段，就输出这行的第1字段与第2字段
awk -F ":" '($1~"root")&&(NF==7){print $1,$2}' /etc/passwd

输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行
awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd

通过管道、双引号调用 Shell 命令

统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句
echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'

使用 wc -l 命令统计使用 bash 的用户个数
awk -F: '/bash$/{print | "wc -l"}' /etc/passwd
或
grep -c "bash$" /etc/passwd  

• 查看当前内存使用百分比

查看当前内存使用百分比
free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'
或
free -m | awk '/Mem:/ {print ($3/($3+$4)*100)}' | awk -F. '{print $1"%"}'

• 查看当前cpu的空闲率

查看当前CPU空闲率
top -b -n 1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'

显示上次系统重启时间，等同于uptime；second ago为显示多少秒前的时间，+"%F %H:%M:%S"等同于+"%Y-%m-%d %H:%M:%S"的时间格式
date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"

• 查看cpu负载

[root@localhost ~]# w
[root@localhost ~]# top

[root@localhost ~]# uptime
 00:43:27 up  8:04,  2 users,  load average: 0.00, 0.01, 0.05

• 统计当前用户数

方法一：
awk 'BEGIN {n=0;while ("w" | getline) n++ ; {print n-2}}'
方法二：
who | wc -l

使用hostname,并输出当前的主机名
awk 'BEGIN {"hostname" | getline ; {print $0}}'

seq 10 | awk '{getline;print $0}' /输出偶数
seq 10 | awk '{print $0;getline}' /输出奇数
注：seq 10   输出1-10 所有的数字

• 更换分割符，使用OFS

将空格换成“|”
echo "A B C D" | awk '{OFS="|";print $0;$1=$1;print $0}'
注：$1=$1 是用来激活$0重新赋值
字段$1...和字段NF的改变会促使awk重新计算$0的值，通常是在改变OFS后而需要输出$0时这样做

• awk数组下标
• BEGIN中的命令只执行一次
• awk数组下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号