linux文本处理绝世好剑--awk

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux文本处理绝世好剑--awk相关的知识,希望对你有一定的参考价值。


awk简介: 

 awk的名称得自于它的创始人Aho, Weinberger, Kernighan三人的首字母。

 

  awk是一种数据处理工具,与"grep","sed"被称为linux文本处理三剑客,但相对于grep的查找,sed的编辑,awk擅长对数据分析并生成报告,是一种报告生成器,格式化文本输出,相对于sed常常作用于一整行的文本处理,awk则倾向于将一行分成数个“字段”来处理。因此awk更适合处理小型的数据。

  awk拥有自己的语言:awk程序设计语言,awk被定义为“样式扫描和处理语言”。它允许用户创建简单的程序,这些程序可以读入输入文件、数据排序、处理数据、对输入执行计算以及生成报表等等其他功能。awk有很多的内建功能,比如函数,数组等,这是它与C语言相同的地方,灵活性是awk的最大优势。

  awk有多种版本:awk,New awk(nawk),GNU awk(gawk),


基本用法:

awk [options] ‘program’ var=value file…

awk [options]  -f programfile var=value file…

awk [options]  ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }‘  file ...

  

  注:

    awk 程序通常由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成

    program通常是在单引号或双引号中

    awk主要是处理每一行的字段内的数据,而默认的字段的分隔符为空格键或Tab键。

     "{}"不需要再程序中始终出现,但它用于根据特定的模式对一系列指令进行分组。


常用选项:

    -F 指明输入时用到的字段的分割符,可以为字符串或正则表达式;如:-F :

    -v var=value:自定义变量

    -f  scripfile 从脚本中读取awk命令

    -m[fr]  var 对var值设置内在的限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是BELL实验室版awk的扩展功能,在标准awk中不适用。



awk语言:

基本格式: awk  [options]  ‘progrom‘  file...


其中program内包含有 : pattern  {action statements;...}

  • pattern部分决定动作语句何时触发及触发事件(BEGIN,END)

   模式可以是以下任意一个: 

    /正则表达式/:使用通配符的扩展集。 

    关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。

    模式匹配表达式:用运算符~(匹配)和~!(不匹配)。 

    BEGIN语句块、pattern语句块、END语句块

  • action statements对数据进行处理,放在{}内指明(print, printf)

  操作由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号内,

    主要部分是: 变量或数组赋值、输出命令、 内置函数、 控制流语句


分割符、域和记录

 awk执行时,由分隔符分隔的字段(域)标记$1,$2..$n称为域标识。$0为所有域。

    注意:和shell中变量$符含义不同

 文件的每一行称为记录

 省略action,则默认执行print $0 的操作。


print格式:print item1, item2, ...

要点:

(1) 使用逗号为分隔符

(2) 输出的各item可以字符串,也可以是数值;当前记录的字段、变量或awk的表达式

(3) 如省略item,相当于print $0




例: 显示系统中所有用户的用户名和UID:

[[email protected] 7 ~]# awk -F: ‘{print $1 "\t" $3}‘ /etc/passwd
root	0
bin	1
daemon	2
adm	3
...

  


  有时为了显示结果需要,需先在显示结果前后增加显示一些例如“表头”之类的内容,这就需要用到awk的BEGIN语句块和END语句块了...

awk工作原理

①:执行BEGIN{action;… }语句块中的语句

②:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,

  从第一行到最后一行重复这个过程,直到文件全部被读取完毕。

③:当读至输入流末尾时,执行END{action;…}语句块


  • BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中

  • pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

  • END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块


:显示系统中所有账号和账号对应的shell,账号和shell之间用逗号分隔,而且在显示结果前添加列名“name,shell”在结尾增加显示“END”

[[email protected] 7 ~]# awk -F: ‘BEGIN {print "name,shell"} {print $1","$7} END {print "END"}‘ /etc/passwd
name,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
...
END


  

awk变量

awk既然被称为“语言”,那么它也有自己的变量:

变量分为:内置变量和自定义变量


常用内置变量:

  • FS:输入字段分隔符,默认为空白字符(使用效果和-F指定分隔符一样)

awk ‘BEGIN {FS=":"} {print $1,$3,$7}‘ /etc/passwd
awk -v FS=‘:‘ ‘{print $1,$3,$7}‘ /etc/passwd
awk –F: ‘{print $1,$3,$7}‘ /etc/passwd
  • OFS:输出字段分隔符,默认为空白字符

[[email protected] 7 ~]# awk -v FS=‘:‘ -v OFS=‘=>‘ ‘{print $1,$3,$7}‘ /etc/passwd
root=>0=>/bin/bash
bin=>1=>/sbin/nologin

[[email protected] 7 ~]# awk ‘BEGIN {FS=":";OFS="=>"} {print $1,$3,$7}‘ /etc/passwd
root=>0=>/bin/bash
bin=>1=>/sbin/nologin
  • RS:输入记录分隔符,指定输入时的换行符,原换行符仍有效

[[email protected] 7 ~]# awk -v RS=‘:‘ ‘{print}‘ /etc/passwd
root
x
0
0
root
/root
/bin/bash
bin
  • ORS:输出记录分隔符,输出时用指定符号代替换行符

[[email protected] 7 ~]# awk -v RS=‘:‘ -v ORS=‘#‘  ‘{print}‘ /etc/passwd
root#x#0#0#root#/root#/bin/bash
bin#x#1#1#bin#/bin#/sbin/nologin
  • NF:字段数量

[[email protected] 7 ~]# awk -F: ‘{print NF}‘ /etc/fstab
0
1
1
3

注:(引用内置变量不用$)

[[email protected] 7 ~]# awk -F: ‘{print $(NF-1)}‘ /etc/passwd
/root
/bin
...
/home/user5
/usr/share/httpd
  • NR:行号

[[email protected] 7 ~]# awk ‘{print NR} END {print NR}‘ /etc/issue
1
2
2
[[email protected] 7 ~]# awk ‘{print NR} END {print NR}‘ /etc/issue /etc/fstab 
1
2
3
4
...
15
15
  • FNR:各文件分别计数,行号

[[email protected] 7 ~]# awk ‘{print FNR}‘  /etc/issue /etc/fstab 
1
2
1
2
3
...
13
  • FILENAME:当前文件名

[[email protected] 7 ~]# awk ‘{print FILENAME,$0}‘ /etc/issue
/etc/issue \S
/etc/issue Kernel \r on an \m
  • ARGC:命令行参数的个数

[[email protected] 7 ~]# awk ‘{print ARGC}‘ /etc/fstab /etc/passwd
3
3
...
[[email protected] 7 ~]# awk ‘BEGIN {print ARGC}‘ /etc/fstab /etc/inittab
3
  • ARGV:数组,保存的是命令行所给定的各参数

[[email protected] 7 ~]# awk ‘BEGIN {print ARGV[0]}‘ /etc/fstab /etc/inittab
awk
[[email protected] 7 ~]# awk ‘BEGIN {print ARGV[1]}‘ /etc/fstab /etc/inittab
/etc/fstab
[[email protected] 7 ~]# awk ‘BEGIN {print ARGV[2]}‘ /etc/fstab /etc/inittab
/etc/inittab

可以看到第一参数为“awk”,第二个参数为“/etc/fstab”,第三个参数为“/etc/inittab”


自定义变量:

(1) -v var=value

  变量名区分字符大小写

(2) 在program中直接定义

    示例:

  awk -v test=‘hello gawk‘ ‘{print test}‘ /etc/fstab
  awk -v test=‘hello gawk‘ ‘BEGIN{print test}‘
  awk ‘BEGIN {test="hello,gawk";print test}‘


printf命令

   有时根据特定的需要,用户需要让显示结果具有一定的规格,而“print”的显示结果并不能满足要求,这时就需要用到“printf”

printf命令

格式化输出:printf“FORMAT”, item1, item2, ...

 (1) 必须指定FORMAT

 (2) 不会自动换行,需要显式给出换行控制符,\n

 (3) FORMAT中需要分别为后面每个item指定格式符

格式符:与item一一对应

    %c: 显示字符的ASCII码

    %d, %i: 显示十进制整数

    %e, %E:显示科学计数法数值

    %f:显示为浮点数

    %g, %G:以科学计数法或浮点形式显示数值

    %s:显示字符串

    %u:无符号整数

    %%: 显示%自身

修饰符:

    #[.#]:第一个数字控制显示的宽度;第二个#表示小数点后精度,%3.1f

    -: 左对齐(默认右对齐)%-15s

    +:显示数值的正负符号 %+d


示例:

awk -F: ‘{printf "%s",$1}‘ /etc/passwd
awk -F: ‘{printf "%s\n",$1}‘ /etc/passwd
awk -F: ‘{printf "Username: %s\n",$1}‘ /etc/passwd
awk -F: ‘{printf "Username: %s,UID:%d\n",$1,$3}‘ /etc/passwd
awk -F: ‘{printf "Username: %15s,UID:%d\n",$1,$3}‘ /etc/passwd
awk -F: ‘{printf "Username: %-15s,UID:%d\n",$1,$3}‘ /etc/passwd

   

awk操作符

   awk作为一种程序设计语言,不仅仅有变量,还支持多种运算,这些运算与C语言的运算方法基本相同。awk还提供了一系列内置的运算函数(如log,sqr,cos,sin等)和一些用于对字符串进行操作(运算)的函数(如length,substr等等)。这些函数的引用大大的提高了awk的运算能力,作为多条件转移指令的一部分,关系判断是每种程序设计语言都具备的功能,awk也不例外,awk中允许进行多种测试,作为样式匹配,还提供了模式匹配表达式。作为对测试的一种扩充,awk也支持逻辑运算符。



算术操作符:

    x+y, x-y, x*y, x/y, x^y, x%y

    -x: 转换为负数

    +x: 转换为数值


字符串操作符:没有符号的操作符,字符串连接


赋值操作符:

    =, +=, -=, *=, /=, %=, ^=

    ++, --

  示例:i++等价于 i=i+1 ; a+=5等价于a=a+5


比较操作符:

    >, >=, <, <=, !=, ==

模式匹配符:

    ~:左边是否和右边匹配包含

    !~:是否不匹配

显示在“/etc/passwd”文件中包含“root”的行
[[email protected] 7 ~]# awk -F: ‘$0 ~ /root/ {print $0}‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
显示“/etc/passwd”文件中不含有“root”的行的第一个字段(用户名)
[[email protected] 7 ~]# awk -F: ‘$0 !~ /root/ {print $1}‘ /etc/passwd
bin
daemon
adm
...



逻辑操作符:

    与&&,或||,非!

  示例:

显示root和系统用户
#  awk -F: ‘$3>=0 && $3<=1000 {print $1}‘ /etc/passwd
显示root或普通用户
#  awk -F: ‘$3==0 || $3>=1000 {print $1}‘ /etc/passwd
显示root用户信息
#  awk -F: ‘!($3==0){print $1}‘ /etc/passwd
显示文件中大于500的UID
#  awk -F: ‘!($3>=500) {print $3}‘ /etc/passwd


运算符的优先级:级别越高优先级越高

技术分享




函数调用:

    function_name(argu1, argu2, ...)


条件表达式(三目表达式):

    selector?if-true-expression:if-false-expression

  示例

[[email protected] 7 ~]# awk -F: ‘{$3>=1000?usertype="Common User":usertype="Sysadmin 
or SysUser";printf"%15s-%d:%-s\n",$1,$3,usertype}‘ /etc/passwd
           root-0:Sysadmin or SysUser
          ...
          user5-1009:Common User
         apache-48:Sysadmin or SysUser


awk PATTERN匹配 

PATTERN:根据pattern条件,过滤匹配的行,再做处理

(1)如果未指定:空模式,匹配每一行

(2) /regular expression/:仅处理能够模式匹配到的行,需要用/ /括起来

# awk ‘/^UUID/{print $1}‘ /etc/fstab
# awk ‘!/^UUID/{print $1}‘ /etc/fstab

(3) relational expression: 关系表达式,结果有“真”有“假”,结果为“真”才会被处理

    真:结果为非0值,非空字符串

    假:结果为空字符串或0值

  示例

# awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
# awk –F: ‘$3>=1000{print $1,$3}‘ /etc/passwd
# awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd


4) line ranges:行范围

    startline,endline:/pat1/,/pat2/不支持直接给出数字格式

显示文件中从以“root”为行首的行到以“nobody”为行首的行之间的所有内容
# awk -F: ‘/^root/,/^nobody/ {print $1}‘ /etc/passwd
显示文件中第10行到第20行的内容
# awk -F: ‘(NR>=10&&NR<=20) {print NR,$1}‘ /etc/passwd


(5) BEGIN/END模式

    BEGIN{}: 仅在开始处理文件中的文本之前执行一次

    END{}:仅在文本处理完成之后执行一次

 示例:

# awk -F : ‘BEGIN {print "USER USERID"} {print $1":"$3} END{print "end file"}‘ /etc/passwd
USER USERID
root:0
...
end file
# awk -F : ‘{print "USER USERID";print $1":"$3} END{print "end file"}‘ /etc/passwd
USER USERID
root:0
USER USERID
bin:1
...
USER USERID
apache:48
end file
# awk -F: ‘BEGIN{print " USER UID \n ---------------"}{print $1,$3}‘ /etc/passwd
 USER UID 
 ---------------
root 0
...
# awk -F: ‘BEGIN{print " USER UID \n ---------------"} {print $1,$3} END{print "=============="}‘ /etc/passwd
# seq 10 |awk ‘i=0‘                  #(不打印)
# seq 10 |awk ‘i=1‘                  #(打印1-10)
# seq 10 |awk ‘i=!i‘                 #(打印奇数)
# seq 10 |awk ‘{i=!i;print i}‘      #(打印1010...)
# seq 10 |awk ‘!(i=!i)‘              #(打印偶数)
# seq 10 |awk -v i=1 ‘i=!i‘        #(打印偶数)


awk action

常用的action分类

(1) Expressions:算术,比较表达式等

(2) Control statements:if, while等

(3) Compound statements:组合语句

(4) input statements

(5) output statements:print等



awk控制语句

  在linux awk的while、do-while和for语句中允许使用break,continue语句来控制流程走向,也允许使用exit这样的语句来退出。break中断当前正在执行的循环并跳到循环外执行下一条语句。if 是流程选择用法。awk中,流程控制语句,语法结构,与c语言类型。有了这些语句,其实很多shell程序都可以交给awk,而且性能是非常快的。下面是各个语句及相关用法。

  • { statements;… } 组合语句

  • if(condition) {statements;…}

  • if(condition) {statements;…} else {statements;…}

  • while(conditon) {statments;…}

  • do {statements;…} while(condition)

  • for(expr1;expr2;expr3) {statements;…}

  • break

  • continue

  • delete array[index]

  • delete array

  • exit


组合语句前面示例中就有很多,多个语句用“;”分隔


if-else控制语句

 语法:if(condition) statement [else statement]

     if(condition1){statement1}else if(condition2){statement2}

        else{statement3}

 使用场景:对awk取得的整行或某个字段做条件判断

 示例:

显示普通用户的用户名和uid:
# awk -F: ‘{if($3>=1000)  print$1,$3}‘ /etc/passwd
显示shell为“/bin/bash”的用户:
# awk -F: ‘{if($NF=="/bin/bash") print $1}‘ /etc/passwd
显示/etc/fstab 文件中字段大于5的行:
# awk  ‘{if(NF>5) print $0}‘ /etc/fstab
显示系统中的用户,并分别注明是普通用户还是root或系统用户:
# awk -F: ‘{if($3>=1000) {printf"Common user: %s\n",$1} else {printf"root or Sysuser: %s\n",$1}}‘ /etc/passwd
# awk -F: ‘{if($3>=1000) printf "Common user: %s\n",$1;else printf "root or Sysuser: %s\n",$1}‘ /etc/passwd
显示系统中使用率大于80%的分区及使用率:
# df -h| awk -F% ‘/^\/dev/{print $1}‘|awk  ‘$NF>=80{print $1,$5}‘
判断成绩:
# awk ‘BEGIN{ test=100;if(test>90){print "very good"}else if(test>60){ print "good"}else{print "no pass"}}‘


while循环控制语句

  语法:while(condition){statement;…}

    条件“真”,进入循环;条件“假”,退出循环

使用场景:

  对一行内的多个字段逐一类似处理时使用

   对数组中的各元素逐一处理时使用

示例:

显示文件中以linux16为行首(行首可有空格)的行中的各个字段及所字段字符串的长度

# awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i); i++}}‘ /etc/grub2.cfg

显示文件中以linux16为行首(行首可有空格)的行中的字段字符串的长度大于10的字段及字段长度

# awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print $i,length($i)}; i++}}‘ /etc/grub2.cfg

   

do-while循环控制语句

语法:do {statement;…}while(condition)

意义:无论真假,至少执行一次循环体

示例:计算0-100之间的整数和

[[email protected] 7 ~]# awk ‘BEGIN {total=0;i=0;do{total+=i;i++}while(i<=100);print total}‘
5050


思考:下面两语句有何不同?

awk ‘BEGIN{i=0;print ++i,i}‘

awk ‘BEGIN{i=0;print i++,i}‘


首先显示一下这两条语句的结果

[[email protected] 7 ~]# awk ‘BEGIN{i=0;print ++i,i}‘
1 1
[[email protected] 7 ~]# awk ‘BEGIN{i=0;print i++,i}‘
0 1

  通过对比可以发现打印出来的结果,++i=1 而i++等于0,而最后输出的i都是1。这就是说明,i的值都是+1的。“++i”和“i++”都等价“i=i+1”所以i的值最后为0+1=1,而区别就在于“++i”为先自增再赋值,而“i++”为先赋值在自增。


for循环

语法:for(expr1;expr2;expr3) {statement;…}

常见用法:

 for(variable assignment;condition;iterationprocess){for-body}

示例:

计算1-100的自然数的和

# awk ‘BEGIN{ total=0 ;for(i=1;i<=100;i++){ total+=i; } {print total};}‘
5050

特殊用法:能够遍历数组中的元素;

语法:for(varin array) {for-body}

示例:

显示文件中以linux16为行首(行首可有空格)的行中的各个字段及所字段字符串的长度

# awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}‘ /etc/grub2.cfg


switch语句

语法:switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; ...; default: statement}



break和continue

当break语句用于while或for语句时,导致退出程序循环。当continue语句用于while或for语句时,是程序循环移动到写一个迭代。

示例:

计算1-100之间所有奇数的和

awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0){continue}sum+=i}print sum}‘

计算1-65之间自然数的和

awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66){break}sum+=i}print sum}‘


next和exit:

   next能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。exit语句是主输入循环退出,如果END存在并将控制转移到END,如果没有定义END规则,或END规则应用exit语句,则终止脚本执行

  

示例:显示UID为偶数的用户名

# awk -F: ‘{if($3%2!=0) next; print $1,$3}‘ /etc/passwd
root 0
daemon 2
lp 4
shutdown 6
...

性能比较

awk:

[[email protected] 7 ~]# time (awk ‘BEGIN{ total=0;for(i=0;i<=10000;i++){total+=i;};print total;}‘)
50005000

real	0m0.004s
user	0m0.002s
sys	0m0.001s

for循环

[[email protected] 7 ~]# time(total=0;for i in {1..10000};do total=$(($total+i));done;echo $total)
50005000

real	0m0.128s
user	0m0.119s
sys	0m0.009s

for循环(c语言格式):

[[email protected] 7 ~]# time(for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
50005000

real	0m0.083s
user	0m0.081s
sys	0m0.003s

bc计算工具:

[[email protected] 7 ~]# time(seq -s‘+‘ 10000 | bc)
50005000

real	0m0.009s
user	0m0.006s
sys	0m0.003s

通过比较可以发现,awk的性能还是极好的,而且计算强度越大awk的性能优势就会越明显。



awk数组

  数组是awk的灵魂,处理文本中最不能少的就是它的数组处理。因为数组索引(下标)可以是数字和字符串,在awk中数组叫做关联数组(associative arrays)。awk中的数组组不必提前声明,也不必声明大小。数组元素用0或空字符来初始化,这根据上下文而定。


关联数组:array[index-expression]

   index-expression:

    (1) 可使用任意字符串;字符串要使用双引号括起来

    (2) 如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串”

   若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历

示例:

[[email protected] 7 ~]# awk ‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"]}‘

Monday

[[email protected] 7 ~]# awk ‘BEGIN{week[0]="sun";week[1]="mon";print week[1]}‘

mon


文件行去重

awk ‘!a[$0]++‘ dupfile

示例

[[email protected] 7 ~]# cat f1 
aaa
bbb
aaa
[[email protected] 7 ~]# awk ‘!arr[$0]++‘ f1
aaa
bbb

   因为当awk读取文件第一行时 arr[$0]为 arr[aaa];因为没有赋值所以值为0,取反后为1,执行默认打印$0,又因为arr[$0]++,为先赋值后自增,所以执行后arr[aaa]=1,当下次再遇到重复的行即arr[aaa],因为它的值为1,取反为0,所以不执行打印。以此达到去重的效果。



  • 若要遍历数组中的每个元素,要使用for循环

    for(var in array) {for-body}

注意:var会遍历array的每个索引


示例:

[[email protected] 7 ~]# awk ‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}‘
Tuesday
Monday
[[email protected] 7 ~]# awk ‘{ip[$1]++} END{for(i in ip) {print i,ip[i]}}‘ /var/log/httpd/access_log 
10.1.253.52 29
::1 41
[[email protected] 7 ~]# netstat -tan | awk ‘/^tcp\>/ {state[$NF]++} END{ for (i in state) { print i,state[i]}}‘
LISTEN 2
ESTABLISHED 1


awk函数

数值处理:

    rand():返回0和1之间一个随机数

    srand( [expr] ):将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。

示例:生成十个随机数:

awk  ‘BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }‘

字符串处理:

length([s]):返回指定字符串的长度

sub(r,s,[t]):对t字符串进行搜索r表示的模式匹配的内容,并将第一个匹配的内容替换为s

[[email protected] 7 ~]# echo "2008:08:08 08:08:08" | awk ‘sub(/:/,"-",$1)‘
2008-08:08 08:08:08

gsub(r,s,[t]):对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表示的内容

[[email protected] 7 ~]# echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,"",$1)‘
20080808 08:08:08

split(s,array,[r]):以r为分隔符,切割字符s,并将切割后的结果保存至array所表示的数组中,第一个索引值为1,第二个索引值为2,…

[[email protected] 7 ~]# netstat -tan | awk ‘/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}‘
10.1.250.69 1
0.0.0.0 2


自定义函数

格式:

 function name ( parameter, parameter, ... ) {

    statements

    return expression

 }

示例:

#cat fun.awk
function max(v1,v2) {
    v1>v2?var=v1:var=v2
    return var
}
BEGIN{a=3;b=2;print max(a,b)}
# awk –f fun.awk


awk中调用shell命令

  • system命令

  • 空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔,或者说除了awk的变量外其他一律用""引用起来。

示例:

[[email protected] 7 ~]# awk BEGIN‘{system("hostname") }‘
CentOS 7
[[email protected] 7 ~]# awk ‘BEGIN{score=100; system("echo your score is " score) }‘
your score is 100


awk脚本

将awk程序写成脚本,直接调用或执行

示例:

# cat f1.awk
 {if($3>=1000)print $1,$3}
# awk -F: -f f1.awk /etc/passwd
# cat f2.awk
#!/bin/awk –f
{if($3>=1000)print $1,$3}
# chmod +x f2.awk
#f2.awk –F: /etc/passwd


向awk脚本传递参数

格式:

awk file var=value var2=value2... Inputfile

示例:

#cat test.awk
    #!/bin/awk –f
    {if($3 >=min && $3<=max)print $1,$3}
#chmod +x test.awk
#test.awk -F: min=100 max=200 /etc/passwd



示例:

1、统计/etc/fstab文件中每个文件系统类型出现的次数

[[email protected] 7 ~]# awk ‘/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}‘ /etc/fstab
swap 1
xfs 3


2、统计/etc/fstab文件中每个单词出现的次数;

[[email protected] 7 ~]# awk ‘{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}‘ /etc/fstab
man 1
UUID=963293f8-46de-4e5b-b53a-7ff09779a967 1
and/or 1
iso9660 1
...


本文出自 “I'm Groot” 博客,请务必保留此出处http://groot.blog.51cto.com/11448219/1855190

以上是关于linux文本处理绝世好剑--awk的主要内容,如果未能解决你的问题,请参考以下文章

linux awk命令的使用

linux命令:awk文本处理命令

Linux命令:文本处理工具awk详解一

05-Linux文本处理-awk

linux中awk处理文本时如何让它不区分大小写?

linux文本处理三剑客——awk