Linux命令之文本分析工具awk

Posted 二木成林

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux命令之文本分析工具awk相关的知识,希望对你有一定的参考价值。

概述

awk 命令是一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。


awk 认为文件都是由单词和各种空白字符组成。 空白字符包括空格、TAB、连续的空格、连续的TAB 域。非空白部分从左到右依次是第一个域、第二个域等等。$1 表示第 1 个域,$2 表示第 2 个域,$0 表示所有域。



语法

该命令的语法如下:

# 其中 pattern 表示 awk 在数据中查找的内容,就是匹配模式,支持正则表达式
# 其中 action 表示是在找到匹配内容时所执行的一系列命令,action 中多条命令之间通过分号分隔
awk [选项] ‘/pattern1/action1 /pattern2/action2...’ 文件名

该命令支持的选项有:

选项说明
-F fs指定输入文件分隔符
-v var=val赋值一个用户定义变量
-f file从脚本文件中读取 awk 脚本指令,以取代直接在命令行中输入指令

awk 命令支持的常见内置变量(即可以直接使用的变量)有:

内置变量说明
FILENAME文件名
NR已读的记录数,即行号
NF浏览记录的域的个数(切割后,列的个数)

会自动给一行中的每个数据元素分配一个变量。awk 命令默认情况下会将如下变量分配给它在文本行中发现的数据字段(在 awk 中,默认的字段分隔符是任意的空白字符,例如空格或制表符。 在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。):

  • $0 代表整个文本行;
  • $1 代表文本行中的第 1 个数据字段;
  • $2 代表文本行中的第 2 个数据字段;
  • $n 代表文本行中的第 n 个数据字段。

awk 还提供了两种打印输出的函数 printprintf

  • print:其中 print 函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用,参数用逗号分隔。如果没有逗号,参数就串联在一起而无法区分。
  • printf:其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时,printf更加好用,代码更易懂。

注:只有成功匹配了 pattern 的行才会执行 action



使用

示例 1

搜索 /etc/passwd 文件中以 root 关键字开头的所有行,并输出改行的第 7 列。命令如下:

awk -F ":" '/^root/print $7' /etc/passwd

说明如下:

  • -F ":":表示指定各列之间的分隔符是冒号 :
  • '/^root/print $7':其中 ^root 表示匹配以 root 开始的行;print $7 表示对于前面查找到的行然后输出第 7 列,其中 print 表示打印输出,$7 表示第七列。

示例 2

搜索 /etc/passwd 文件以 root 关键字开头的所有行,并输出该行的第 1 列和第 7 列,中间以 "," 号分割。命令如下:

awk -F ":" '/^root/print $1","$7' /etc/passwd

说明如下:

  • -F ":":表示指定各列之间的分隔符是冒号 :
  • '/^root/print $1","$7':其中 ^root 表示匹配以 root 开始的行;print $1","$7 中表示输出第 1 列和第 7 列,中间用逗号进行分隔。

注意:如果要连接其他字符串,必须用双引号括起来,但是 $1 这些变量又不能使用双引号。所以 "$1,$7" 属于错误语法。

示例 3

只显示 /etc/passwd 文件中的第 1 列和第 7 列,以逗号进行分隔,且在所有行前面添加列名 user, shell,在最后一行添加 zhangsan, /bin/csh。命令如下:

awk -F ":" 'BEGINprint "user, shell" print $1", "$7 ENDprint "zhangsan, /bin/csh"' /etc/passwd

说明如下:

  • -F ":":表示指定各列之间的分隔符是冒号 :
  • BEGINprint "user, shell":表示在所有行之前执行输出 user, shell 的操作。
  • print $1", "$7:表示输出第 1 列和第 7 列,之间通过逗号分隔。
  • ENDprint "zhangsan, /bin/csh":表示在最后一行执行输出 zhangsan, /bin/csh

注:BEGIN 表示在所有数据读取行之前执行;END 表示在所有数据执行之后执行。

示例 4

/etc/passwd 文件中的用户 ID 增加数值 1 之后再输出。命令格式如下:

awk -v i=1 -F ":" 'print $3+i' /etc/passwd

说明如下:

  • -v i=1:表示声明一个变量 i 并且初始值为 1。
  • -F ":":表示指定各列之间的分隔符是冒号 :
  • 'print $3+i':表示将第 3 列的值与变量 i 的值相加后输出。

注:在进行变量运算时,直接使用变量名即可,不需要使用 $i 的方式来引用变量值。

示例 5

统计 /etc/passwd 文件中的文件名、每行的行号和每行的列数。命令格式如下:

awk -F ":" 'print "文件名:"FILENAME", 行号:"NR", 列数:"NF' /etc/passwd

说明如下:

  • 'print "文件名:"FILENAME", 行号:"NR", 列数:"NF':表示输出文件名、行号和列数。其中 FILENAME 是内置变量,存放了文件名;NR 是内置变量,存放了当前行号;NF 是内置变量,存放了当前行的列数。注意,输出字符串必须用双引号 "" 引起来,但是变量不能引起来。

示例 6

输出 ifconfig 命令输出结果中的空行所在行号。命令格式如下:

ifconfig | awk '/^$/print NR'

说明如下:

  • '/^$/print NR':表示找到空白行并输出空白行的行号。其中 ^$ 是正则表达式表示匹配空白行;print NR 表示输出前面匹配到的行的行号。

示例 7

输出当前系统中网卡的 IP 地址。命令格式如下:

ifconfig | awk '/netmask/print $2'


说明:

  • ifconfig:该命令查看当前系统的网络信息。
  • awk '/netmask/print $2':表示找到行中包含 netmask 的行,因为包含这个字符串的行中也包含 IP 地址;print $2 表示打印第 2 列,即 IP 地址列。

示例 8

替换字符串 "I am zhangsan" 中的 zhangsanlisi。命令格式如下:

echo "I am zhangsan" | awk '$3="lisi"; print $0'

以上是关于Linux命令之文本分析工具awk的主要内容,如果未能解决你的问题,请参考以下文章

Linux命令之awk_1

Linux之awk详解

Linux三剑客之awk命令

打开高效文本编辑之门_Linux awk之关联数组

Linux基础每日一命之awk命令(上)

Linux命令:文本处理工具awk详解一