awk命令详解和实例

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了awk命令详解和实例相关的知识,希望对你有一定的参考价值。

一.  AWK 说明

       awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。

       awk的处理文本和数据的方式:它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作。如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。

       awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人,分别是Alfred Aho、Brian Kernighan、Peter Weinberger。

       gawk是awk的GNU版本,它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的,在linux系统中已把awk链接到gawk,所以下面全部以awk进行介绍。

 



二. awk命令格式和选项

2.1. awk的语法有两种形式

       awk [options] ‘script‘ var=value file(s)

       awk [options] -f scriptfile var=value file(s)


2.2. 命令选项

(1)-F fs or --field-separator fs :指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。

(2)-v var=value or --asign var=value :赋值一个用户定义变量。

(3)-f scripfile or --file scriptfile :从脚本文件中读取awk命令。

(4)-mf nnn and -mr nnn :对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。

(5)-W compact or --compat, -W traditional or --traditional :在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。

(6)-W copyleft or --copyleft, -W copyright or --copyright :打印简短的版权信息。

(7)-W help or --help, -W usage or --usage :打印全部awk选项和每个选项的简短说明。

(8)-W lint or --lint :打印不能向传统unix平台移植的结构的警告。

(9)-W lint-old or --lint-old :打印关于不能向传统unix平台移植的结构的警告。

(10)-W posix :打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符**和**=不能代替^和^=;fflush无效。

(11)-W re-interval or --re-inerval :允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。

(12)-W source program-text or --source program-text :使用program-text作为源代码,可与-f命令混用。

(13)-W version or --version :打印bug报告信息的版本。

14.特殊符号


| * + .




技术分享



例1:把2.txt的第三行分割打印出来


awk -F ‘:‘ ‘{print $3}‘ 2.txt (-F ‘:‘固定格式  {print $3}打印的行数)


技术分享技术分享

技术分享

例2:把2.txt的3,4,5行分割打印出来


awk -F ‘:‘ ‘{print $3,$4,$5}‘ 2.txt


技术分享

技术分享

例3:把2.txt的3,4,5行分割打印出来,并用":"来做分隔符


awk -F ‘:‘ ‘OFS=":" {print $3,$4,$5}‘ 2.txt(OFS命令可以指定分隔符,分隔符可以:,*)


技术分享技术分享




例4:匹配2.txt中root的行


awk ‘/root/‘ 2.txt


技术分享

技术分享


例5:匹配2.txt中root和lizheng的行


awk ‘/root|lizheng/‘ 2.txt


技术分享技术分享



例6:匹配1.txt中s*d的行(可以多个s或者一个d的行)


* 匹配0个或多个字符


awk ‘/s*d/‘ 1.txt


技术分享技术分享



例6:匹配1.txt中s?d的行


?匹配0个或一个


awk ‘/s?d/‘ 1.txt


技术分享

技术分享

例7:匹配1.txt中s+d的行


+匹配1个或多个

awk ‘/s+d/‘ 1.txt


技术分享技术分享



例8:匹配1.txt中s.*d的行


.*匹配只要第一个是s,最后个是d都能匹配到


awk ‘/s.*d/‘ 1.txt


技术分享技术分享



例9:匹配1.txt中(ss)+的行


awk ‘/(ss)+/‘ 1.txt


技术分享技术分享


例10.匹配1.txt中第二段中s*d的行

awk -F ‘:‘ ‘$2~/s*d/‘ 1.txt


技术分享技术分享



例11.匹配1.txt中第二段中s*d的行,并只打印第二行的内容



awk -F ‘:‘ ‘$2~/s*d/ {print $2}‘ 1.txt


技术分享

技术分享


例12.匹配1.txt中2个条件并打印出来(第一个条件是第一段中s*d的找出来并打印1和3段)

(第二个条件是第一种的匹配e的找出来并打印1和3段)(2个规则)

awk -F ‘:‘ ‘$1~/s*d/ {print $1,$3}; $1~/e/ {print $1,$3}‘ 1.txt(符合2个条件的输出时会打印二次)


技术分享技术分享



例12:不匹配2.txt中nologin的行


awk -F ‘:‘ ‘$7!~/nologin/ ‘ 2.txt


技术分享技术分享



以上是关于awk命令详解和实例的主要内容,如果未能解决你的问题,请参考以下文章

Linux入门系列——awk命令详解

linux awk命令详解

Linux之awk详解

awk命令详解二

linux awk命令详解

linux awk命令详解(转)