gawk

Posted 2020-09-20 Dothraki

awk

文本处理grep,sed,awk

grep 文本过滤器

sed 流编辑器

awk 文本处理报告生成器 （Aho,Kernighan,Werinberger）,以定义好的格式显示出来

     

[[email protected] ~]# ls -l /usr/bin/awk 
lrwxrwxrwx. 1 root root 4 3月  28 20:26 /usr/bin/awk -> gawk

用法：

  awk [options] ‘script‘ file1 file2....

  awk [options] ‘pattern‘ ‘{action}‘ file1 file2...

输出：

一. -print

   print item1,item2,...

1,各项目之间用逗号隔开，而输出以空白字符分隔,如果挨着写，则输出也是挨着，而且可以和print挨着；

[[email protected] ~]# cat awk.test 
This is a test
[[email protected] ~]# awk ‘{print $1,$2,$3,$4}‘ awk.test 
This is a test
[[email protected] ~]# awk ‘{print$1$2$3$4}‘ awk.test 
Thisisatest

 

2,指定分隔符号，在BEGIN模式指定，BEGIN后是花括号，圆括号算语法错误，分隔符号需要用双引号引起来，单引号算语法错误，

awk: cmd. line:1: BEGIN(OFS="#"){print $1,$2,$3,$4}
awk: cmd. line:1:      ^ syntax error
[[email protected] ~]# awk  ‘BEGIN{OFS="#"}{print $1,$2,$3,$4}‘ awk.test 
This#is#a#test
[[email protected] ~]# awk  ‘BEGIN{OFS=‘#‘}{print $1,$2,$3,$4}‘ awk.test 
awk: cmd. line:2: BEGIN{OFS=#}{print $1,$2,$3,$4}
awk: cmd. line:2:           ^ syntax error

3，可以在输出显示条目之间加入一些其他的输出字符，被当做独立的item,需要用双引号引起来，例如：

[[email protected] ~]# awk  ‘BEGIN{OFS="#"}{print $1,$2,"TESTSTRING",$3,$4}‘ awk.test 
This#is#TESTSTRING#a#test

4，可以在输出的条目之间加入换行符，为多行输出：

[[email protected] ~]# awk ‘BEGIN{print "line one\nline two\nline three"}‘
line one
line two
line three

 

 

二，awk变量

awk内置变量之记录变量

FS:Field Separator 读取文件时使用的字段分隔符，默认是空白字符

RS:Record Separator 读取文件时使用的行分隔符，默认换行符

OFS:Output Field Separator 输出分隔符

ORS:Output Row Separator 输出换行符

awk内置变量之数据变量

NR:Number of input Records ,awk命令所处理的记录数，如果有多个文件，这个数目会把所处理的多个文件统一进行计数

NF:Number of Field 当前记录的field个数，总数，即容易理解$NF则表示最后一个字段

[[email protected] ~]# awk ‘{print NF}‘ awk.test 
4

 

FNR:与NR不同的是，FNR用于记录正在处理的行是当前这一文件中被处理的行数（如有两个100行的文件，处理到第二各文件的第20行，NR=120,FNR=20）

[[email protected] ~]# awk ‘{print NR}‘ /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[[email protected] ~]# awk ‘{print FNR}‘ /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
1
2
3

 

ARGV:数组，保存命令行本身这个字符串，如awk ‘{print $0}‘ awk.test 这条命令中，AVGV[0] 保存awk，AVGV[1] 保存 awk.test

ARGC:awk命令行的参数个数

FILENAME:awk命令所处理的文件的名称

ENVIRON:当前shell环境变量及其值的关联数组：如

[[email protected] ~]# awk ‘BEGIN{print ENVIRON["PATH"]}‘
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

 

用户自定义变量（2种方式）

gawk允许用户自定义变量以便在代码中用到，变量名命名规则和大多数的编程语言相同，只能用字母，数字，和下划线，且不能以数字开头，gawk变量名称区分字符大小写

a.在脚本中给变量赋值使用赋值语句进行：如

[[email protected] ~]# awk ‘BEGIN{var="variable testing";print var}‘
variable testing

b,也可以用-v 定义变量，且在awk中，变量不需要加$,在awk中$的意义是字段，在加BEGIN只执行一次,在{}的action中，语句和语句要使用分号隔开

[[email protected] ~]# awk -v var="varialbe testing" ‘BEGIN{print var}‘
varialbe testing

 

三，printf的使用

 printf 命令格式: printf format item1,item2...

1,与print命令最大的不同是，printf需要指定格式

2,format用于指定后面每一个item的输出格式

3,printf不会自动打印换行符\n

format格式都以%开头

%c 显示字符的ASSII码

%d ,%i 十进制整数

%e ,%E 科学记数法显示数值

%f 显示浮点数

%g,%G 以科学计数法的格式或浮点数的格式显示数值

%s 显示字符串

%u 无符号的整数

%% 显示百分号自身

修饰符

N 显示宽度

-  左对齐（默认右对齐）

+ 显示数值符号

 

四 awk的操作符

算数操作符

-x 负值

+x 转换为数值

x^y 次方

x**y 次方

x/y 除

x+y 

x-y

x%y

赋值操作符

=

+=

-=

*=

/=

%=

^=

**=

++

 --

需要注意的是 如果某模式为=号 此时使用/*/ 肯能出现语法错误，应以/[=]/ 替代

 

布尔值

awk中，任何非0值或非空字符串都为真，反之就为假比较操作符

x < y    True if x is less than y

x <= y  True if x is less or equel to y

x  > y   True if x is greater than y

x > = y True if x is greater or equel to y

x == y  True if x is equel to y

x !=y    True if x is not equel to y

x ~ y    True if the string x matches the regexp denoted by y

x !~y   True if the string x does not match the regexp denoted by y

表达式间的逻辑关系符

&&

||

条件表达式

selector?if-true-exp:if-false-exp

函数调用

function_name (paral1,para2)

 

awk 常用模式

1 正则表达式  /regexp/ 

例如：显示以G开头的用户名

[[email protected] ~]# awk -F : ‘/^G/ {print $1}‘ /etc/passwd
Gandefeng

2 表达式，其值为非0或非空字符串时满足条件

例如:显示使用bash的用户

[[email protected] ~]# awk -F : ‘$7~"bash$" {print $1,$7}‘ /etc/passwd
root /bin/bash
Gandefeng /bin/bash

例如;显示不为nologin的，格式输出

[[email protected] ~]# awk -F : ‘$7!~"nologin$" {printf "%-30s%-20s\n",$1,$7}‘ /etc/passwd
root                          /bin/bash           
sync                          /bin/sync           
shutdown                      /sbin/shutdown      
halt                          /sbin/halt          
Gandefeng                     /bin/bash  

3 匹配范围

例如：从第一个以uid为0开头的行到第一个以sync结尾的行

[[email protected] ~]# awk -F : ‘$3==0,$7~"sync" {printf "%-30s%-20s\n",$1,$7}‘ /etc/passwd
root                          /bin/bash           
bin                           /sbin/nologin       
daemon                        /sbin/nologin       
adm                           /sbin/nologin       
lp                            /sbin/nologin       
sync                          /bin/sync      

4 BEGIN/END模式，仅在awk的开头前运行一次和命令结束前最后一行处理完之后运行一次

例如：在上面实例基础上加首行

[[email protected] ~]# awk -F : ‘BEGIN{printf"%-10s%-10s%-20s\n","name","uid","shell"}$3==0,$7~"sync"{printf "%-10s%-10s%-20s\n",$1,$3,$7}END{print "end"}‘ /etc/passwd
name      uid       shell               
root      0         /bin/bash           
bin       1         /sbin/nologin       
daemon    2         /sbin/nologin       
adm       3         /sbin/nologin       
lp        4         /sbin/nologin       
sync      5         /bin/sync           
end

5 空模式 文件的每一行都要做处理

 

 

和尾行，同时匹配，注意需要BEGIN需要在匹配的前面

 

 

常用的action

1 expression

2 control statements

3 compound statements

4 input statements

5 output statements

 

五 控制语句

1 if-else

if (condition) {then-body} else {[else-body]}

例如：判断管理员

awk -F : ‘{if($1=="root")print $1,"admin";else print $1,"common user"}‘ /etc/passwd

       格式化输出

 awk -F : ‘{if($1=="root")printf "%-15s:%s\n",$1,"admin";else printf "%-15s:%s\n",$1,"common user"}‘ /etc/passwd

      统计uid大于500的用户

[[email protected] ~]# awk -F : -v sum=0 ‘{if($3>=500) sum++}END{print sum}‘ /etc/passwd
13

 

2 while

while (condition){statement1;statement2;...}

例：显示每一行字符串长度大于等于4的字段

awk -F : ‘{i=1;while(i<=NF) {if (length($i)>=4) {print $i};i++}}‘ /etc/passwd

 

3 do-while

do {statement1,statement2,...} while (condition)

awk -F : ‘{i=1;do {print $1,i++}while(i<=3)}‘ /etc/passwd

 

4 for

for ( variable assignment; condition; iteration process) {statement1,statement2...}

例：循环3次显示$1 遵循C语言风格

awk -F : ‘{for (i=1;i<=3;i++) print $1}‘ /etc/passwd

for 还可以遍历数组元素

例:遍历所有字段显示大于4的字段

awk -F : ‘{for (i=1;i<=NF;i++) {if (length($i)>=4) {print $i}}}‘ /etc/passwd

 

5 case

swith (expression) { case value or /regexp/: statement1,statement2,... default: statement1,....}

 

6 break和contiune 用于循环或case语句中的终止或继续

7 next 提前结束本行文本的处理，并接着处理下一行

 例：显示ID为奇数的用户

awk -F : ‘{if($3%2==0) next;print $1,$3}‘ /etc/passwd

 

七 数组

awk数组的下标从1开始，也可自己定义，可以使用任意字符串作为下标

例：统计各shell出现次数

[[email protected] ~]# awk -F : ‘{shell [$NF]++}END{for(A in shell){print A,shell[A]}}‘ /etc/passwd
/bin/sync 1
/bin/bash 2
/sbin/nologin 38
/sbin/halt 1
/sbin/shutdown 1

例：统计网络状态

[email protected] ~]# netstat -tan|awk ‘/^tcp/{state[$NF]++}END{for (A in state) print A,state[A]}‘
LISTEN 9
ESTABLISHED 2

例：统计日志文件IP地址的访问量

[[email protected] ~]# awk ‘{counts[$1]++};end {for (url in counts) print counts[url],url}‘ /var/log/httpd/access_log