9.6/9.7 awk

Posted 2020-12-02

9.6/9.7 awk

awk也是流式编辑器，针对文档中的行来操作，一行一行的执行。awk兼具sed的所有功能。

截取文档中的某个段

示例命令如下：

[[email protected] ~]# head -n2 test.txt |awk -F ':' '{print $1}'

roooto

-F选项的做用是指定分隔符。如果不加-F选项，则以空格或者tab为分隔符。print为打印的动作，用来打印某个字段。$1为第一个字段，$2为第2个字段，以此类推。但$o比较特殊，它表示正行：

[[email protected] ~]# head -n4 test.txt |awk -F':' '{print $0}'

roooto:x0:0:/rooooto:/bin/bash
111111111111111111111111111111
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

注意awk的格式，-F后面紧跟单引号，单引号里面为分隔符。print的动作要用{}括起来，否则会报错。print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：

[[email protected] ~]# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'
###
roooto#x0#0#/rooooto

匹配字符或者字符串

示例命令如下：

[[email protected] ~]# awk '/oo/' test.txt
roooto:x0:0:/rooooto:/bin/bash

这跟sed的用法类似，能实现grep的功能，但没有颜色。awk有比sed更强大的匹配，如下所示：

[[email protected] ~]# awk -F ':' '$1~/oo/' test.txt
roooto:x0:0:/rooooto:/bin/bash

它可以让某个字段去匹配，这里的~就是匹配的意思。awk还可以多次匹配，如下所示：

[[email protected] ~]# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txt

本例中awk匹配完root，在匹配test，它还可以只打印所匹配的段。

条件操作符

示例命令如下：

[[email protected] ~]# awk -F ':' '$3>="0"' /etc/passwd
root:x:0:0:root:/root:/bin/bash

awk中可以用逻辑符号进行判断，比如==就是等于，也可以理解为精确匹配。另外还有>,>=,<,<=,!=等。值得注意的是，在和数字比较时，若把比较的数字用引号引起来，那么awk不会认为是数字，而会认为是字符，不加双引号则会认为是数字。

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
gluster:x:997:993:GlusterFS daemons:/var/run/gluster:/sbin/nologin
libstoragemgmt:x:996:992:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
unbound:x:995:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
saslauth:x:994:76:Saslauthd user:/run/saslauthd:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
colord:x:993:989:User for colord:/var/lib/colord:/sbin/nologin
geoclue:x:992:988:User for geoclue:/var/lib/geoclue:/sbin/nologin
setroubleshoot:x:991:985::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:990:984:User for sssd:/:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
gnome-initial-setup:x:989:983::/run/gnome-initial-setup/:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin

本例中想把uid大于等于500的行打印出来。awk把所有的数字当做字符了，就跟上一章中提到的sort排序原理一样。但，不加双引号就得到了想要的结果：

[[email protected] ~]# awk -F ':' '$3>=500' /etc/passwd
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
gluster:x:997:993:GlusterFS daemons:/var/run/gluster:/sbin/nologin
libstoragemgmt:x:996:992:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
unbound:x:995:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
saslauth:x:994:76:Saslauthd user:/run/saslauthd:/sbin/nologin
colord:x:993:989:User for colord:/var/lib/colord:/sbin/nologin
geoclue:x:992:988:User for geoclue:/var/lib/geoclue:/sbin/nologin
setroubleshoot:x:991:985::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:990:984:User for sssd:/:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
gnome-initial-setup:x:989:983::/run/gnome-initial-setup/:/sbin/nologin
test10:x:1000:1000::/home/test10:/bin/bash
test11:x:1001:1002::/home/test11:/bin/bash
[[email protected] ~]# awk -F ':' '$3>=500' /etc/passwd
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
gluster:x:997:993:GlusterFS daemons:/var/run/gluster:/sbin/nologin
libstoragemgmt:x:996:992:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
unbound:x:995:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
saslauth:x:994:76:Saslauthd user:/run/saslauthd:/sbin/nologin
colord:x:993:989:User for colord:/var/lib/colord:/sbin/nologin
geoclue:x:992:988:User for geoclue:/var/lib/geoclue:/sbin/nologin
setroubleshoot:x:991:985::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:990:984:User for sssd:/:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
gnome-initial-setup:x:989:983::/run/gnome-initial-setup/:/sbin/nologin
test10:x:1000:1000::/home/test10:/bin/bash
test11:x:1001:1002::/home/test11:/bin/bash

本例中，！=表示不匹配，它除了针对某一个字段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。如下所示：

[[email protected] ~]# awk -F ':' '$3<$4' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
test11:x:1001:1002::/home/test11:/bin/bash

另外还可以使用&&和||,它们分别表示“并且”和“或者”。&&的用法如下：

[[email protected] ~]# awk -F ':' '$3>"5" && $3<"7"' /etc/passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

||的用法如下：

[[email protected] ~]# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
test10:x:1000:1000::/home/test10:/bin/bash
test11:x:1001:1002::/home/test11:/bin/bash

awk的内置变量

awk常用的变量有OFS、NF和NR，OFS和-F选项有类似的功能，也是用来定义分割符的，但是它是在输出的时候定义，NF表示用分隔符分割后一共有多少段，NR表示行号。

OFS的用法示例如下：

[[email protected] ~]# head -5 /etc/passwd |awk -F ':' '{ofs="#"} {print $1,$3,$4}'
root 0 0
bin 1 1
daemon 2 2
adm 3 4
lp 4 7

还有更高级一些的用法：

[[email protected] ~]# awk -F ':' '{ofs="#"} {if ($3>1000) {print $1,$2,$3,$4}}' /etc/passwd
nfsnobody x 65534 65534
test11 x 1001 1002

变量NF的具体用法如下：

[[email protected] ~]# head -n3 /etc/passwd |awk -F ':' '{print NF}'
7
7
7

[[email protected] ~]# head -n3 /etc/passwd |awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin

这里NF是多少段，$NF是最后一段的值。变量NR的具体用法如下：

[[email protected] ~]# head -n3 /etc/passwd |awk -F ':' '{print NR}'
1
2
3

我们还可以使用NR作为作为判断的条件，如下所示：

[[email protected] ~]# awk 'NR>40' /etc/passwd
tcpdump:x:72:72::/:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
test10:x:1000:1000::/home/test10:/bin/bash
test11:x:1001:1002::/home/test11:/bin/bash

NR也可以配合段匹配一起使用，如下所示：

[[email protected] ~]# awk -F ':' 'NR<20 && $1 ~ /root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

awk中的数学运算

awk可以更改断值，示例命令如下：

[[email protected] ~]# head -n3 /etc/passwd |awk -F ':' '$1=root"'
awk: cmd. line:1: $1=root"
awk: cmd. line:1:        ^ unterminated string
awk: cmd. line:1: $1=root"
awk: cmd. line:1:        ^ syntax error

awk也可以对各个段的值进行数学运算，示例命令如下：

[[email protected] ~]# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4}'
[[email protected] ~]# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4;print $0}'
root x 0 0 root /root 0
bin x 1 1 bin /bin 2

awk还可以计算某个字段的总和，示例命令如下：

[[email protected] ~]# awk -F ':' '{(tot=tot+$3)}; END {print tot}' /etc/passwd
80230

这里的END是awk特有的语法，表示所有的行都已经执行。其实awksed都可以写成一个脚本文件，而且有它们特有的语法。在awk中使用if判断、for循环都可以。没有必要使用那么复杂的语句。如下所示：

[[email protected] ~]# awk -F ':' '{if($1=="root"){print $0}}' /etc/passwd
root:x:0:0:root:/root:/bin/bash