awk工具（三剑客）

Posted 2020-10-21

1、awk介绍：

awk：（三剑客之一）

awk:是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk则更支持分段，默认会以空格为分隔符将每行分段，对分段分析处理（匹配 查找 ）：

awk的版本：

awk:主要有三个版本：awk(GPL版本)  nawk(new 增强版)   gawk(GUN版本)

2、awk的基本用法：

2.1:打印指定内容（指定段）：

[[email protected] awk]# awk -F ':' '{print $1}' test.txt      # -F参数用来指定文件分隔符，默认是以空格为分隔符：
root
bin
daemon
adm

注意：默认以文件内容里空格为分隔符打印：

打印整个文本文档：使用 "$0"  则打印整个文本：

[[email protected] awk]# awk '{print $0}' test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

也支持同时打印多个段落，支持手动指定分隔符：打印后的内容默认以空格为分隔符显示：

[[email protected] awk]# awk  -F ':' '{print $1,$2,$3}' test.txt     #默认则以空格为分隔符：    
root x 0
bin x 1
daemon x 2

也支持对打印后的文件手动指定分隔符：如下：对打印后的内容手动指定分隔符“#”并显示：

[[email protected] awk]# awk  -F ':' '{print $1"#"$2"#"$3}'   test.txt         #手动对打印后的内容分隔符以"#"为分隔符显示：
root#x#0
bin#x#1
daemon#x#2
adm#x#3

注意：指定分隔符后该命令只识别指定的分隔符，如果莫行无指定分隔符，则会打印整行：

2.2：awk的匹配功能(用 "~" 来表示匹配)

针对数学表达式的用法

• 数值比较

当'$3>=1000 {print $1}'时：
[[email protected] awk]# awk -F ':' '$3>=1000 {print $1}' test.txtuser001

当'$3>="1000" {print $1}'时：
[[email protected] awk]# awk -F ':' '$3>="1000" {print $1}' test.txt |head -3daemon
adm
lp

匹配字符串：
[[email protected] awk]# awk -F ':' '$7!="/sbin/nologin" ' test.txt root:x:0:0:root:/root:/bin/bashsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltuser001:x:1000:1000::/home/user001:/bin/bash“！=”表示不等于

说明： 当“1000”加引号时会被当做是字符串，以ASC码（二进制）的方式进行计算处理，不加引号的时候会被当做是数值处理。

[[email protected] awk]# head -n3 test.txt |awk -F ':' '{OFS=":"} $1="root"'root:x:0:0:root:/root:/bin/bashroot:x:1:1:bin:/bin:/sbin/nologinroot:x:2:2:daemon:/sbin:/sbin/nologin[[email protected] awk]# awk -F ':' '$3=="0" {print $1}' test.txtroot

说明： 当使用一个“=”等号时表示为等号前面字符赋值，使用两个“==”表示逻辑关系（进行判断）。

9.7 awk 命令（下）

• 字符比较大小

[[email protected] awk]# awk -F ':' '$3<$4' test.txtadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[[email protected] awk]# awk -F ':' '$3==$4' test.txt |head -3root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin[[email protected] awk]# awk -F ':' '$3>"5" && $3<"7"' test.txt shutdown:x:6:0:shutdown:/sbin:/sbin/shutdowntss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

说明： “&&”表示并且。

[[email protected] awk]# awk -F ':' '$3>1000 || $7!="/sbin/nologin"' test.txt root:x:0:0:root:/root:/bin/bashsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltuser001:x:1000:1000::/home/user001:/bin/bash[[email protected] awk]# awk -F ':' '$3>1000 || $7~/bash/' test.txt root:x:0:0:root:/root:/bin/bashuser001:x:1000:1000::/home/user001:/bin/bash

说明： “||”表示或者。

OFS指定打印时的分隔符

语法1：
[[email protected] awk]# awk -F ':' '{OFS="#"} $3>1000 || $7~/bash/ {print $1,$3,$7}' test.txt root#0#/bin/bashuser001#1000#/bin/bash语法2：
[[email protected] awk]# awk -F ':' '{OFS="#"} {if ($3>1000 || $7~/bash/) {print $1,$3,$7}}' test.txt root#0#/bin/bashuser001#1000#/bin/bash

• NR （=number row）表示行号

[[email protected] awk]# awk -F ':' '$3<5 && $7!="/sbin/nologin" {print NR":"$1}' test.txt1:root[[email protected] awk]# awk -F ':' '$3<5 && $3>2 && $7=="/sbin/nologin" {print NR":"$1}' test.txt4:adm5:lp打印前三行：
[[email protected] awk]# awk -F ':' 'NR<=3' test.txtroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin[[email protected] awk]# awk -F ':' 'NR<=3 && $1~/root/' test.txtroot:x:0:0:root:/root:/bin/bash

注： 类似于grep -n。

• NF （=number fragment）表示段数（列）

[[email protected] awk]# awk -F ':' '$3<5 && $3>2 && $7=="/sbin/nologin" {print NF":"$1}' test.txt7:adm7:lp

• 求和

[[email protected] awk]#  awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt5657