awk命令

Posted zh-dream

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了awk命令相关的知识,希望对你有一定的参考价值。

awk是一个强大的报告生成工具,用于格式化文本输出

语法:

  awk [options] -f ‘program‘ filename

  program由{ pattern + action statements}组成,动作语句之间用分号“;”分隔

选项:

  -F:指定输入分隔符

  -v  VAR=value:自定义变量

 

常用命令

1、print

  print item1,item2,......

  item之间用逗号分隔,如果省略item,相当于print $0

2、变量

  内置变量

    FS:input field seperator,输入分隔符,与-F指定的相同,默认是空白字符 

    OFS:output field seperator,输出分隔符,默认空白字符

[root@localhost ~]# awk -v FS=: ‘{print $1}‘ /etc/passwd 
root
bin
daemon
adm

[root@localhost ~]# awk -F : ‘{print $1,$3}‘ /etc/passwd
root 0
bin 1
daemon 2
adm 3



[root@localhost ~]# awk -v FS=: -v OFS=" | " ‘{print $1,$3}‘ /etc/passwd
root | 0
bin | 1
daemon | 2
adm | 3
lp | 4

  RS input record seperator 输入换行符

  ORS output record seperator 输出换行符

默认的换行符
依然保留
[root@localhost ~]# vim num.txt 
1 a b c
2 de fg hj
3
4
5
6

[root@localhost ~]# awk -v RS=" " ‘{print}‘ num.txt
1
a
b
c
2
de
fg
hj

3
4
5
6

[root@localhost ~]# awk -v RS=" " -v ORS=‘#‘ ‘{print}‘ num.txt
1#a#b#c
2#de#fg#hj#
3
4
5
6
#

  NF:number of field 字段数量

打印字段数量
[root@localhost ~]# awk  ‘{print NF}‘ num.txt
1
1
1
2
1
1
1
4

打印最后一个字段
[root@localhost ~]# awk  ‘{print $NF}‘ num.txt
c
hj
3
4
5
6

 NR: number of record 行数,行号

 FNR: 各文件分别计数

[root@localhost ~]# awk  ‘{print NR}‘ num.txt
1
2
3
4
5
6

多个文件
[root@localhost ~]# awk  ‘{print NR}‘ num.txt /etc/fstab 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

对每个文件单独计数
[root@localhost ~]# awk  ‘{print FNR}‘ num.txt /etc/fstab 
1
2
3
4
5
6
1
2
3
4
5
6
7
8
9
10
11

 FILENAME: 当前正在处理的文件名

体现了awk遍历文件每一行的特性
[root@localhost ~]# awk  ‘{print FILENAME}‘ num.txt /etc/fstab 
num.txt
num.txt
num.txt
num.txt
num.txt
num.txt
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab

 ARGC:命令行参数个数

 ARGV:awk参数数组,保存命令行给定的所有参数

[root@localhost ~]# awk ‘{print ARGC}‘ /etc/fstab /etc/issue
3
3
3
3
3
3
3
3
3
3
3
3
3
3

[root@localhost ~]# awk ‘BEGIN{print ARGC}‘ /etc/fstab /etc/issue
3

[root@localhost ~]# awk ‘BEGIN{print ARGV[0]}‘ /etc/fstab /etc/issue
awk
[root@localhost ~]# awk ‘BEGIN{print ARGV[1]}‘ /etc/fstab /etc/issue
/etc/fstab
[root@localhost ~]# awk ‘BEGIN{print ARGV[2]}‘ /etc/fstab /etc/issue
/etc/issue  

 自定义变量

  (1)-v var=value 变量名区分大小写

  (2)在program中定义

[root@localhost ~]# awk -v test="hello world" BEGIN{print test}
hello world

[root@localhost ~]# awk BEGIN{test="hello world";print test}
hello world  

求极值
[root@localhost ~]# cat num.txt 
a 1
b 15
a 20
c 6
d 50
b 3
a 7

[root@localhost ~]# awk BEGIN{min=999;if ($2 <min) min=$2}END{print "最小值为: ",min} num.txt 
最小值为: a



[root@localhost ~]# awk BEGIN{max=0}{if ($2 >max) max=$2 }END{print "最大值为: ",max} num.txt 
最大值为: 50

printf 命令

  格式化输出 printf “FORMAT”,item1,item2,... FORMAT需要为每一个item指定一个格式化符号

  格式符包括:

    %c:显示字符的ASCII码

    %d,%i:显示十进制整数

    %e,%E:科学计数法数值显示

    %f:显示为浮点数

    %g,%G:以科学计数法或浮点数显示数值

    %u:无符号整数

    %s:显示为字符串

    %%:显示%自身

  修饰符:- 表示左对齐 + 表示显示数值符号

另外打印的时候如果需要打印特殊字符,需要查ASCII码表,对应的十六进制,例如:47------> ‘  44 ------> $ 46 ---------> &,在某些场景需要使用,比如拼接SQL语句的时候

[root@localhost ~]# awk -F: ‘{printf "Username: %s, UID: %d
",$1,$3}‘ /etc/passwd
Username: root, UID: 0
Username: bin, UID: 1
Username: daemon, UID: 2
Username: adm, UID: 3
Username: lp, UID: 4
Username: sync, UID: 5


[root@localhost ~]# awk -F: ‘{printf "Username: %-6s, UID: %d
",$1,$3}‘ /etc/passwd
Username: root  , UID: 0
Username: bin   , UID: 1
Username: daemon, UID: 2
Username: adm   , UID: 3
Username: lp    , UID: 4
Username: sync  , UID: 5
Username: shutdown, UID: 6
Username: halt  , UID: 7  

 操作符

 

操作符名称 包含的符号
算术操作符 +、-、*、/、^、%      -x:负值      +x:转换为数值
赋值操作符 =、+=、-、-=、*=、/=、%= 、++、--
比较操作符 >,>=、<、<=、!=、==
模式匹配符

    ~:匹配 、!~:不匹配

逻辑操作符 &&、||、!
条件表达式 selector?if-true-expression:if-false-expression
   
[root@localhost ~]# awk -F: ‘{$3>1000?usertype="nomal user":usertype="sysadmin or sysuser";printf "%-6s : %s
",$1,usertype}‘ /etc/passwd
chrony : sysadmin or sysuser
mysql  : sysadmin or sysuser
ntp    : sysadmin or sysuser
test   : sysadmin or sysuser
test1  : nomal user

pattern

1、empty:空匹配,匹配每一行

[root@localhost ~]# awk -F: ‘{print $1}‘ /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail

2、/regular expression/:仅处理匹配到的行

[root@localhost ~]# awk -F ‘[= ]+‘ ‘/^UUID/{print $2}‘ /etc/fstab 
0bbd5e50-606c-4c47-8cd7-1ae67f812437
bba2c917-8540-41c8-97e6-f1d73d9143ba
1c0f8351-49f0-4dd8-9a8b-1aff1d4a77b0

3、关系表达式:relation expression 返回boolean值,真值被处理,非0或非空为真

[root@localhost ~]# awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd
root /bin/bash
test /bin/bash
test1 /bin/bash

标准写法~符号后的/匹配字符串/不加引号
[root@localhost ~]# awk -F: ‘$NF~/bash$/{print $1,$NF}‘ /etc/passwd
root /bin/bash
test /bin/bash
test1 /bin/bash

4、地址定界:awk不支持1,3这样的写法,可以用NR或者使用/pat1/,/pat2/指定地址

相当于空匹配
[root@localhost ~]# awk ‘1,3{print}‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt

[root@localhost ~]# awk ‘NR>1&&NR<=3{print}‘ /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@localhost ~]# awk ‘/^a/,/^s/{print}‘ /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

5、BEGIN/END模式

BEGIN{}:仅在处理文件中的文本之前执行一次
[root@localhost ~]# awk -F: BEGIN{print "------username-------uid----------
"}{print $1,$3} /etc/passwd
------username-------uid----------

root 0
bin 1
daemon 2
adm 3

当不加BEGIN的时候会对每一行都执行每一条语句
[root@localhost
~]# awk -F: {print "------username-------uid----------"}{print $1,$3} /etc/passwd ------username-------uid---------- root 0 ------username-------uid---------- bin 1 ------username-------uid---------- daemon 2 ------username-------uid---------- adm 3 END{}:文本处理完成之后执行一次
[root@localhost
~]# awk -F: {print "------username-------uid----------"}{print $1,$3}END{print "@@@@@@@@done"} /etc/passwd ------username-------uid---------- root 0 ------username-------uid---------- bin 1 ------username-------uid---------- daemon 2 ------username-------uid---------- adm 3 @@@@@@@@done 只在文本处理前和语句执行后分别执行BEGIN和END中的语句
[root@localhost
~]# awk -F: BEGIN{print "------username-------uid----------"}{print $1,$3}END{print "@@@@@@@@done"} /etc/passwd ------username-------uid---------- root 0 bin 1 daemon 2 adm 3 @@@@@@@@done 

常用的action

  (1)expressions  

  (2)控制语句       if、while等

  (3)组合语句

  (4)输入语句

  (5)输出语句

 

控制语句

  语法:

    if (condition) {statements} 或者 if (condition) {statements} else {statements}

[root@localhost ~]# awk -F : {if ($3>1000) print $1,$3} /etc/passwd
test1 1001
其中,print或printf 是最常用的编辑指令;若有多条编辑指令,可用分号分隔,或者把每一条语句用花括号括起来
[root@localhost ~]# awk -F : {if ($3>1000) printf "common_user: %s
",$1;else {printf "root or sysuser : %s
",$1}} /etc/passwd
root or sysuser : postfix
root or sysuser : chrony
root or sysuser : mysql
root or sysuser : ntp
root or sysuser : test
common_user: test1

[root@localhost ~]# awk -F : {if ($3>1000) {printf "common_user: %s
",$1} else {printf "root or sysuser : %s
",$1}} /etc/passwd
root or sysuser : mysql
root or sysuser : ntp
root or sysuser : test
common_user: test1

    while (condition) {statements}

统计字段长度
[root@localhost ~]# awk /[[:space:]]+linux16/ {i=1;while(i<=NF) {print $i,length($i);i++}} /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-862.el7.x86_64 30
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
ro 2
crashkernel=auto 16
net.ifnames=0 13
rhgb 4
quiet 5
LANG=en_US.UTF-8 16

统计字段长度大于5的
[root@localhost
~]# awk /[[:space:]]+linux16/ {i=1;while(i<=NF) {if (length($i)>5) print $i,length($i);i++}} /etc/grub2.cfg linux16 7 /vmlinuz-3.10.0-862.el7.x86_64 30 root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46 crashkernel=auto 16 net.ifnames=0 13 LANG=en_US.UTF-8 16 linux16 7 /vmlinuz-0-rescue-1f41634c945240cf95b0a976b07104ea 50 root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46 crashkernel=auto 16 net.ifnames=0 13

    do {statements} while (condition)

[root@localhost ~]# awk /[[:space:]]+linux16/ {i=1;do {if (length($i)>5) print $i,length($i);i++} while(i<=NF)} /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-862.el7.x86_64 30
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
crashkernel=auto 16
net.ifnames=0 13
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-0-rescue-1f41634c945240cf95b0a976b07104ea 50
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
crashkernel=auto 16
net.ifnames=0 13

    for (expr1;expr2;...;exprn) {statements}

[root@localhost ~]# awk /[[:space:]]+linux16/ {for (i=1;i<=NF;i++) print $i,length($i)} /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-862.el7.x86_64 30
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
ro 2
crashkernel=auto 16
net.ifnames=0 13
rhgb 4
quiet 5
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-0-rescue-1f41634c945240cf95b0a976b07104ea 50
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
ro 2
crashkernel=auto 16
net.ifnames=0 13
rhgb 4
quiet 5

[root@localhost ~]# awk /[[:space:]]+linux16/ {for (i=1;i<=NF;i++) if (length($i)>5) print $i,length($i)} /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-862.el7.x86_64 30
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
crashkernel=auto 16
net.ifnames=0 13
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-0-rescue-1f41634c945240cf95b0a976b07104ea 50
root=UUID=0bbd5e50-606c-4c47-8cd7-1ae67f812437 46
crashkernel=auto 16
net.ifnames=0 13

使用for循环遍历数组元素

  for (var in array)

 

switch语句

  语法 switch (expression) {case value1 or /regexp/: statement1;case value1 or /regexp/: statement2;...;default: statement}

next:提前结束本行的处理,对下一行进行处理

统计uid为偶数的用户
[root@localhost ~]# awk -F : {if ($3%2!=0) next;print $1,$3} /etc/passwd
root 0
daemon 2
lp 4
shutdown 6
mail 8
games 12
ftp 14
systemd-network 192
sshd 74
chrony 998
ntp 38
test 1000

数组

关联数组: array[index]

  索引index

    (1)可以使用任意字符串,但字符串要使用双引号

    (2)如果数组元素不存在,在引用时,awk会自动创建此元素,并将其值初始化为空串

自定义数组
[root@localhost ~]# awk BEGIN{data["name"]="tom";data["age"]="18";print data["name"]}
tom


遍历数组中的元素,其中i为数组data的索引,
[root@localhost ~]# awk BEGIN{data["name"]="tom";data["age"]="18"; for (i in data) print data[i]}
18
tom

[root@localhost ~]# vim num.txt 
a 1
b 15
a 20
c 6
d 50
b 3
a 7

统计字母出现的次数 [root@localhost ~]# awk {a[$1]++}END {for (i in a) print i,a[i]} num.txt a 3 b 2 c 1 d 1
统计每个字母对应的数字和 [root@localhost
~]# awk {a[$1]+=$2}END {for (i in a) print i,a[i]} num.txt a 28 b 18 c 6 d 50

[root@localhost ~]# awk -F ‘[ #/:,-=]+‘ ‘{for (a=1;a<= NF;a++) {word[$a]++}}END{for (i in word) print i,word[i]}‘ /etc/fstab
aff 1
14
cd 1
bba 1
man 1
bbd 1

函数

 内置函数

  字符串处理:length([string]) 返回string的长度

sub (regular expression, substitution string):

sub(/regular expression/,"substitution string", target string) 在目标字符串中查找第一个指定匹配的字符串,并替换成指定子串

awk { sub(/test/, "mytest"); print } testfile

在整个记录中匹配,替换只发生在每行第一次匹配发生的时候。

awk { sub(/test/, "mytest", $1); print } testfile

在整个记录的第一个域中进行匹配,替换只发生在每行第一次匹配发生的时候


[root@localhost ~]# echo "0001|20081223efskjfdj|912EREADFASDLKJCV"|awk -F | BEGIN{ OFS="|" } {sub(/[0-9]+/,"",$2);print $0}
0001|efskjfdj|EREADFASDLKJCV

[root@localhost ~]# awk -F: {sub(/o/,"O",$1);print $1} /etc/passwd
rOot
bin
daemOn

gsub (/regular expression/, "substitution string", target string)在整个文档中查找指定字段中所有能匹配指定字符串的字段,并替换成指定子串

awk { gsub(/test/, "mytest"); print } testfile
在整个文档中匹配test,匹配的都被替换成mytest。

awk { gsub(/test/, "mytest", $1); print } testfile
在整个文档的第一个域中匹配,所有匹配的都被替换成mytest。

[root@localhost ~]# awk -F: ‘{gsub(/o/,"O",$1);print $1}‘ /etc/passwd
rOOt
bin
daemOn
adm
lp
sync
shutdOwn
halt
mail
OperatOr

   split (string, array, "field separator")
   split (string, array)  -->如果第三个参数没有提供,awk就默认使用当前FS值。

[root@localhost ~]# echo "0001|20081223efskjfdj|EREADFASDLKJCV"|awk {split($0,a,"|");print a[1],a[2],a[3]}
0001 20081223efskjfdj EREADFASDLKJCV

 

 

    

 

以上是关于awk命令的主要内容,如果未能解决你的问题,请参考以下文章

awk命令提取某行的最后一个数值

VSCode自定义代码片段——git命令操作一个完整流程

VSCode自定义代码片段——cli的终端命令大全

最佳 awk 命令

VSCode自定义代码片段4——cli的终端命令大全

VSCode自定义代码片段15——git命令操作一个完整流程