文本三剑客之awk

Posted 2020-12-04 liliyang

awk和流编辑器sed在工作原理和用法上有很多类似之处，它们都是检查输入数据中的行是否匹配指定的模式，如果匹配成功就对匹配的行执行相应的操作，重复这个过程直到所有的输入数据都被处理完，因此awk和sed都是面向数据流的工具。

awk执行的操作action要写在模式后面的花括号｛｝中，而sed是直接接在模式后

比对：

• sed通常用来提取一整行，提取一行中的某个字段需要使用后向引用；
• awk通常用于提取行中的某个字段，也可提取一整行；

注意：上面的花括号中各个参数之间的逗号不是必要的，使用逗号在输出时各个字段之间会增加个空格，增加可读性

格式：

awk  [options]  -f  progfile  [--]  file ...  　　　　　　 #将程序语句写入到文件中，通过-f调用

awk  [options]  [--]  ‘program‘  file ...        　　　　　#直接在命令行中写出程序，更常用

可以看出awk同样可以同时处理多个文件

有前面可知，三剑客grep、sed、awk都可以用来同时处理多个文件

 

awk的程序（‘program‘或progfile）中包含了一系列的规则，在每一个规则中都指定了一个要查找的模式，以及对匹配模式的行所执行的操作。

awk程序中的规则格式如下：

pattern是一个正则表达式，就是我们要匹配的模式（匹配流入的文本的行），

而花括号｛｝中的actions是对匹配到的行数据所执行的操作，它既可以是一个命令，也可以是多个命令，每一个命令用分号结束。

 

如果把其中的匹配模式省略(即/pattern/)，awk会对输入数据的每一行都会按行执行actions所指定的操作（类似sed）

awk的强大之处在于它会自动把输入的行数据分隔成若干个字段。所谓的字段就是被指定的分隔字符分隔后的一段段字符串，如果没有修改，awk默认的分隔字符为空格。

awk读入一行数据以后，会根据所指定的分隔字符把行数据分解为若干个字段，然后把每－个字段保存在以数字命名的变量中，如第一个字段被保存在变量1（$1）中，第二个字段被保存在变量2($2)中…最后一个字段保存在$NR中，而整行数据被保存在变量0($0)中。

 

如果希望在awk程序中引用某个字段的值，只要使用字符$引用相应的变量即可，如第一个字段的值为$1。

 

如果在花括号中没有为print命令添加参数指定要输出的字段(即只有print指令，没有变量$1，$2，$3等)，它会默认打印整个输入行，就像指定了参数$0一样

print命令不带参数和指定参数$0得到的结果是相同的，都是原封不动地打印整行数据。

 

除了使用print命令打印信息以外，还可以使用printf命令

printf命令默认不会在字符串结尾处、添加换行符，因此需要在字符串的最后手动添加

不管是使用print进行输出（自动在行尾添加换行），还是使用printf（不会自动在行尾添加换行）都支持各种格式化的转义字符( 、 、v、等).

如果是输出普通字符，最好使用双引号引起来（除了$0,$1,$2…$NR外其余全部看作普通字符）

awk  -F:  ‘/root/{print  "Username: "  $1  " "  "UID: "  $3  }‘   /etc/passwd

 

通过标识符BEGIN可以在处理数据以前执行一些初始化操作，可用来输出表格的标题，自定义变量等。

awk的整个结构如下：

awk     ‘BEGIN {  }       [/pattern/]{主循环}      END{  }’        FILE1,FILE2…

如果awk的程序较长，通过命令行的方式执行程序不是很方便，可以先将awk程序写入到文件中，然后使用awk的-f选项传递给awk

 

把awk程序写在文件中还有一个好处，就是可以添加注释（#），方便以后对程序的分析和维护，位于#和下一行之间的内容视为注释

在第一行数据被读入以后主循环就开始执行，并且输入数据中存在多少行，主循环就会被重复执行多少次，一直到处理完所有的数据为止，此时主循环就会退出。

除了主循环以外，awk的程序中还有另外两个特殊的阶段：

一是在数据被读取之前(BEGIN {  })              #主循环开始以前执行一些初始化操作

二是在所有的数据都处理完以后（END ｛｝）    #主循环终止以后执行一些收尾工作

 

/pattern/：对读入的行进行匹配

awk中匹配时有多种形式：

1、NF           使用字段个数匹配（默认是每行的字段数）

2、NR          使用记录个数匹配（默认是行数）,使用较多

3、FS           使用字段分隔符匹配（字段分隔符，默认是空格）

4、NS           使用记录分隔符匹配（记录分隔符，默认是换行 ）

5、/pattern/           正则表达式匹配，正则匹配时，必须放在/regex/内   行匹配

6、$1~/pattern/    该行的第一个字段如果正则匹配到pattern，则匹配该行

7、布尔表达式（即逻辑表达式）匹配，仅当布尔表达式为真时，才会执行后面的action

awk   -F "[ /]+"    ‘$2~/^80$/{print $0}‘     /etc/services

 

逻辑表达式expression中的操作符：

可使用逻辑与＆＆和逻辑或 || 把多个表达式连接在一起构成更复杂的表达式

 

 

 

 

当在awk程序中指定了多个规则时：

默认awk读入的每一行数据都会所有规则独立处理(类似sed的-e多模式)

 

（awk  -F:  ‘$7=="/sbin/nologin"{print $1}; $3>500{print $1}‘  /etc/passwd　　　　两个条件都满足，会被打印两次，每行被独立执行），有时这种情况是我们所不希望看到的。

例如：

处理/etc/passwd文件的awk程序中有两个规则，一个规则是打印所有使用bash shell的用户，另一个规则是打印所有UID大于等于1000的用户，如果一个用户同时满足两个条件，那么它就会被打印两次，如何解决？（我们要的效果是只要符合其中一条规则即打印出来）

两种方式解决：

其中一种方法，就是通过逻辑操作符或||把两个规则合并为一个规则

awk  -F：  ‘($3>1000)||($7==”/bin/bash”){print $0}’    /etc/passwd

#两个条件之间使用||连接

另一种方式，使用next命令：

awk   -F:    ‘$7=="/sbin/nologin"{print $1;next;}  $3>500{print $1}‘   /etc/passwd　　　　　　　　#两个条件之间使用空格分隔

 

注意：

执行next命令，它的作用是结束当前行的处理（即如果该规则条件满足，跳过后面的其它所有规则），让awk读取下一行数据，接下来读取第二行数据，从第一条规则开始重复整个过程，有点类似C中的continue。

next前必须有分号（两个指令间隔），其后的分号可有可无

 

当awk程序中存在多个规则的过程：

awk在读取－行数据以后，会把这行数据与程序中的第一个规则进行模式匹配（或者判断表达式），如果匹配成功就执行相应的操作；

然后这行数据（原本的，不是经第一个规则处理后的）会继续与第二个规则进行模式匹配（或者判断表达式），根据成功与否来决定是否执行相应的命令，以此类推，直到这行数据经历了所有规则的匹配，然后awk会读取下一行数据并用同样的方式进行操作。

因此，如果一行数据同时满足了两个规则的条件，则这两个规则所包含的命令都会被执行，相反，如果没有一个规则能够匹配这行数据，也就没有一个规则的命令会被执行。

  

awk中的printf输出时，共有3种形式：

printf（“%-12s%8s”），$8，$7

printf “%-12s%8s”，$8，$7

pinntf（“%-12s%8s”，$8，$7）                    #这种与C中完全相同

C中的所有格式控制均可用在这里

 

 

awk脚本

要想创建awk脚本，只要在awk程序文件的头部添加如下一行：

 

同时为这个文件添加上可执行权限，就可以像执行普通Shell脚本一样执行awk程序了。这里添加的这一行与在Shell脚本中添加#!／bin/bash的意思是一样的，都是告诉系统应该使用哪个程序来解释当前的程序文件。使用bash执行脚本文件时不需要指定额外的选项，但是使用awk执行程序文件时需要使用选项-f，因此这里不仅要写明awk的程序路径，还要添加选项-f。 

由于awk脚本本身只能处理数据，所以还需要提供一个数据源。在运行时，通过管道把命令ls  -l的输出传递到awk程序的标准输入中，此时在管道字符｜的后面可以直接输入脚本的完整路径 ./reverse_ls_output.awk

 

awk中的变量

AWK中的变量有内置变量和自定义变量之分

awk语言中的变量与Shell脚本中的变量很像，在使用前不用事先声明，直接使用即可，并且变量默认会被初始化为0或一个空的字符串。

由于awk语言是一个弱类型的语言，所以变量是没有类型的，同一个变量既可以保存字符串，也可以保存数值，不需要类型转换。

如果对一个已经赋予字符串值的变量进行算术运算，第一次运算时，该变量将会被赋值为0；

内建变量

FILENAME          [awk读取多个文件时]，显示当前读取的文件的名称，

NR                　　当前处理的是第几个记录，默认是第几行，[若有多个文件]，记录数累加

FNR                     [awk读取多个文件时]，读取新文件时，FNR为新文件中已读取的行数

注意：NR和FNR的区别

NF                        当前行字段的个数

FS                        输入行的字段分隔符，默认为空格，也可使用选项-F设定

RS                        输入时的记录的分隔符（即输入数据的断行符），默认换行符

OFS                      输出时的字段分隔符，默认空格

ORS                     输出时的记录的分隔符（即输出数据的断行符），默认换行符

在awk中打印这些内建变量的值时，一定不要带$符号，如果带有$就会打印匹配行对应字段的内容

一个记录含有多少行是由记录分隔符（RS）决定的（默认RS是换行符，一行就是一个记录）

一行中含有多少个字段是由字段分隔符（FS）决定的（默认FS是空格）

FS和RS支持正则表达式

指定FS时需要注意：

1、  可以使用-F选型替代FS变量

2、  如果同时指定多个不同的分隔符，使用 -F “[ :]+”  这里就同时使用了空格和冒号：作为分隔符，+表示1或多个空格，或，1或多个冒号：