文本处理三剑客之awk

Posted 2020-08-09

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了文本处理三剑客之awk相关的知识，希望对你有一定的参考价值。

一、awk相关知识详解

1.awk简介

（1）awk：报告生成器，格式化文本输出

（2）版本：

New awk(nawk)

GNU awk(gawk)

2.基本用法

awk [option] ‘program‘ var=value file...

awk [option] -f programfile var=value file...

awk [option] ‘BEGIN{action;...}；pattern{action...}；END{action...}‘ file...

说明：

awk程序通常由：BEGIN语句块，能够使用模式匹配的通用语句块，END语句组成

program通常是被单引号引住

option：

-F 指明输入时用到的分隔符，默认为空格（连续空格当做一个空格）

-v var=value 自定义变量

3. awk工作原理

（1）分割符、域、记录相关概念

<1>awk执行时，由分隔符分割的字段（域）标记$1,$2...成为域标识，$0为所有域；和shell中的变量$符含义不同

<2>文件的每一行为一个记录

（2）awk工作原理

第一步：执行BEGIN(action)语块中的语句

第二步：从文件或标准输入读取一行，然后执行pattern{action；...}语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取

第三步：当读至输入流末尾时，执行END(action...)语句块

说明：

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中，不可打印多个文件的行参数；只输出一行；

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块

pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行（print $0），即打印每一个读取到的行。

4.awk基本格式

awk [option] ‘program‘ file...

program:pattern{action statements;...}

pattern和action

pattern语句决定动作语句何时触发（BEGIN END）

action statements 对数据进行处理，放在{}指明，（print，printf）

说明：同一个pattern语句块的action之间用“；”隔离，print输出的不同域之间用“，”隔离；省略action，默认执行print $0操作

5.print格式说明

print item1 ，item2....

注意：逗号分隔符

输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式

如省略item，相当于print $0

输出内容除了变量，用双引号括起来

举例：

<1> 以“：”为分隔符，显示/etc/passwd每一行信息

awk –F: ‘{print}‘ /etc/passwd

<2>以“：”为分隔符，把/etc/passwd每一行以wang信息代替

awk –F: ‘{print “wang”}’ /etc/passwd

<3>以“：”为分割符，显示该文件每一行的第一个字段

awk –F: ‘{print $1}’ /etc/passwd

<4>在标准输入的每一行输出“hello，world”

6.printf命令详解

<1>格式化输出：printf "FORMAT" ,item1,item2,...

必须指定FORMAT

不会自动换行，需要显式给出换行控制符，\n

PARMAT需要分别为后面每个item指定格式符

<2>格式符：与每个item一一对应

%c:显示字符的ASCII编码

%i:显示十进制整数

%e:显示科学计数法数值

%f:显示为浮点数

%g:以科学计数法或浮点形式显示数值

%s:显示字符串

%u:无符号整数

%%:%本身

<3>修饰符

#[.#]:第一个数字控制显示的宽度，第二个表示小数点后的精度

-：左对齐（默认是右对齐）

+：显示数值的正负符号

<4>实例

awk -F : ‘{printf "%s",$1}‘ /etc/passwd

awk -F: ‘{printf "Username: %-15s, UID：%d\n",$1,$3}’ /etc/passwd

疑问：在printf格式化输出中，awk内置变量还有效吗？

发现OFS变量并没有生效，在printf语句中，格式化输出在format设置就好

7.awk变量（引用的时候不用加$符号）

（1）内置变量

<1>FS(field separator):输入字段分割符，默认为空格

awk -F : ‘{print $1,$3}‘ /etc/passwd

awk -v FS=":" ‘{print $1,$3}‘ /etc/passwd

<2>OFS输出字段分隔符，默认为空格；

OFS默认为空格：此时输出字段间是以空格为分隔符

OFS为“+++”：

<3>RS(record separator)记录输入时分隔符，原换行符仍旧有效

新建文件内容如下

RS为“ ”:此时c d为一行，只不过c后边的原换行符依旧有效，故看起来不在一行

为更深刻的理解RS，看下边两图

说明：因为awk输出字段分割符默认是空格，原来的换行符会被覆盖

<4>ORS：输出记录分割符，用指定符号代替换行符（此时原来的换行符还是有效的）

新建文件内容如下：

ORS为“+++”：

说明：ORS只是把空格转换为“+++”，原先的换行符并没有转换，因为c和e、h后边是由换行符的，但是并没有转换

<5>NF字段数量

awk -F：‘{print NF}’ /etc/fstab

awk -F: ‘{print $(NF-1)}‘ /etc/passwd 显示倒数第二个字段

<6>行号 NR

awk ‘{print NR}‘ /etc/fstab

awk END‘{print NR}‘ /etc/fstab

<7>FNR 各文件分别统计行号

awk ‘{print FNR}‘ test test1

<8>FILENAME 当前文件名

awk ‘{print FILENAME}‘ test

<9>ARGC 命令行参数的个数

awk BEGIN‘{print ARGC }‘ test test1

awk ‘{print ARGC }‘ test test1

<10>ARGV :数组，保存的是命令行给定的各参数(索引从0开始)

awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab

awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

（2）自定义变量：

<1>在program中直接定义

<2>-v var=value 变量名区分大小写

awk-v test=‘hello gawk‘ ‘{print test}‘ /etc/fstab

awk-v test=‘hello gawk‘ ‘BEGIN{print test}‘

awk‘BEGIN{test="hello,gawk";print test}‘

8.操作符

<1>算术操作符

x+y , x-y , x*y , x/y , x^y , x%y

-x:转换为负数

+x:转换为整数

awk -v x=1 -v y=2 ‘BEGIN{print x+y}‘

<2>赋值操作符

=, +=, -=, *=, /=, %=, ^=

++, --

awk -v a=1 -v b=2 ‘BEGIN{print b+=a}‘

<3>比较操作符

>, >=, <, <=, !=, ==

<4>模式匹配符：

~：左边是否和右边匹配包含模式匹配的话，被匹配模式需要被/ /括起来

!~：是否不匹配

cat /etc/passwd|awk‘$0 ~ /root/‘|wc-l

cat /etc/passwd|awk‘$0 !~ /root/‘|wc-l

<5>逻辑操作符：&& || ！

awk –F: ‘$3>=0 && $3<=1000 {print $1}‘ /etc/passwd

awk -F: ‘$3 ==0 || $3>=1000 {print $1}‘ /etc/passwd

awk -F: ‘!($3==0){print $1}‘ /etc/passwd

awk -F: ‘!($3>=500) {print $3}}‘ /etc/passwd

<6>条件表达式

selector？if-true-expression:if-false-expression

awk -F: ‘{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf"%15s:%-s\n",$1,usertype}‘ /etc/passwd

9.pattern：根据pattern条件，过滤匹配的行，再做处理

<1>如果未指定：空模式，匹配每一行

<2>/regular expression/:仅处理能够匹配到的行

awk‘/^UUID/{print $1}‘ /etc/fstab

awk‘!/^UUID/{print $1}‘ /etc/fstab

<3>relation expression:关系表达式；结果为真才会处理

真：结果非0，非空

假：结果为空字符或0

实例：

awk -F: ‘$3<1000{print $1,$3}‘ /etc/passwd

awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd

seq 10 | awk ‘i=!i‘ 显示奇数行;显示偶数行的话，提前给i赋值为1即可

awk -F: ‘""{print}‘ test 啥都不输出

awk -F: ‘i=1;j=1{print $1,$3}‘ test

<4>line ranges（行范围）

”startline，endline“：/pat1/,/pat2/不支持直接给出数字格式

效果一样：

awk-F: ‘(NR>=2&&NR<=10){print $1}‘ /etc/passwd

awk-F: ‘NR>=2&&NR<=10{print $1}‘ /etc/passwd

awk-F: ‘/^root/,/^nobody/{print $1}‘ /etc/passwd

<5> BEGIN/END模式

BEGIN{}: 仅在开始处理文件中的文本之前执行一次

END{}：仅在文本处理完成之后执行一次

10.常用的action

<1>Expression:算术，比较表达式

<2>Control Statements :if while 等

<3>compound statements:组合语句

<4>input statements

<5>output statements：print等

11.awk控制语句if-else

if (condition) statement [else statement]

if (condition1) {statement1} else if (condition2) {statement2} else {statement3}

说明：(如果statement为多条命令，必须加“{}”，一条的话，可以不加)，一般情况下还是加上大括号比较好

实例：

awk BEGIN‘{test=65;if(test>80) {print "it is good"} else if(test<60) {print "you are not ok"} else {print "you are right"}}‘

awk-F: ‘{if($3>=1000)print $1,$3}‘ /etc/passwd

df-h|awk-F[%] ‘/^\/dev/{print $1}‘|awk‘{if($NF>=80) print $1}‘

12.awk控制语句while

while（condition）statement，条件真，进入循环；条件假，退出循环

使用场景：对一行内的多个字段逐一类似处理的时候

对数组中的各元素逐一处理时使用

实例：awk‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}‘ /etc/grub2.cfg

awk‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)}; i++}}‘ /etc/grub2.cfg

13.awk控制语句do-while

do statement while(condition) 无论真假，至少执行一次

实例： awk ‘BEGIN{total=0;i=0;do{total+=i;i++}while(i<=100);print total}‘

14.awk控制语句-for循环

for循环

语法：for(expr1;expr2;expr3) statement

for(variable assignment;condition;iterationprocess) {for-body}

特殊用法：能够遍历数组中的元素；

语法：for(varin array) {for-body}

示例：

awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}‘ /etc/grub2.cfg

15.awk控制语句switch

语法：switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; ...; default: statement}

16.awk控制语句break、continue、next

<1>awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0){continue}{sum+=i}};print sum}‘

continue [n]

<2>awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==11){break}{sum+=i}};print sum}‘

break [n]

<3>next 提前结束对本行处理而直接进入下一行处理（awk自身循环）

awk-F: ‘{if($3%2!=0) next; print $1,$3}‘ /etc/passwd

17.awk数组

<1>array["index-expression"]

index-expression:

可使用任何字符串，但字符串需要用双引号括起来(变量的话，就不用加了)

如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”

若要判断数组中是否存在元素，要使用“index in array”格式进行遍历

实例一：

awk ‘BEGIN{week["mon"]="monday";week["tue"]="tuesday";print week["mon"]}‘

awk ‘!a[$0]++‘ test2

说明：命令三显示的是test2文件的内容，命令三是为了更好地理解“$0”与“arr[$0]”之间的关系，命令一是去掉test2中重复的行；

对命令一来说：应该把“arr[$0]“当做一个整体，例如当做“i”，此处用到i++和++i的相关知识;arr[aa]=0-->!arr[aa]=1-->arr[aa]=1;arr[bb],arr[cc],arr[dd]类似；当再次到arr[aa]时，arr[aa]=1-->!arr[aa]++=0-->arr[aa]=2;如果第三次遇到arr[aa] 时，arr[aa]=2-->!arr[aa]++=0-->arr[aa]=3;

实例二：统计开放的tcp类型的端口的访问状态