Linux之awk使用

Posted 2021-02-11 slqdba

awk介绍

awk可以认为是一门语言，非常强大。
awk工作流程是这样的：先执行BEGIN，然后读取文件，读入换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

调用方式

三种调用方式
awk ‘{pattern + action}‘ {filenames}

+ 命令行方式:
```awk [-F field-separator] ‘commands‘ input-file(s)```
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

+ shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：```#!/bin/sh``` 可以换成：```#!/bin/awk```

+ 将所有的awk命令插入一个单独文件，然后调用：```awk -f awk-script-file input-file(s)```; 其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

内置变量

+ ARGC: 命令行参数个数
+ ARGV: 命令行参数排列
+ ENVIRON: 支持队列中系统环境变量的使用
+ FILENAMEawk: 浏览的文件名
+ FNR: 浏览文件的记录数
+ FS: 设置输入域分隔符，等价于命令行-F选项
+ NF: 浏览记录的域个数
+ NR: 已读的记录数
+ OFS: 输出域分隔符
+ ORS: 输出记录分隔符
+ RS: 控制记录分隔符
+ $0变量是指整条记录

流程控制

+ awk中的条件语句是从C语言中借鉴来的
+ 循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

#### 其他
+ print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。
```print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0```
+ printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。
```printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s ",FILENAME,NR,NF,$0)```

实例

##### 1-BEGIN和END的使用
```cat /etc/passwd |awk -F ‘:‘ ‘BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}‘```

##### 2-pattern使用模式-搜索/etc/passwd有root关键字的所有行
```awk -F: ‘/root/‘ /etc/passwd```

+ 这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。pattern是支持正则的。

##### 3-显示文件file的当前记录号、域数和每一行的第一个和最后一个域。
```awk ‘{print NR,NF,$1,$NF,}‘ file```

##### 4-显示第4个域满足条件的行
```df | awk ‘$4>1000000 ‘```

##### 5-显示文件中第一个域匹配101的行
```awk ‘$1 ~ /101/ {print $1}‘ file```

##### -下载指定网页的所有img选项
```
for info in $(curl -k -s http://www.eztang.cn/shejituandui/120.html
|grep img |grep uploads
|awk -F"src=" ‘{print $2}‘ |awk -F ""|‘" ‘{print $2}‘
);
do
filename=$(echo -n ${info} |awk -F/ ‘{print $NF}‘)
curl -k -s http://www.eztang.cn${info} > $filename
done
```

计算

```
cat redis_redis8389.dump.rdb.201712261040.csv.log |grep COPY |grep -v CONTEXT |awk -F‘ ‘ ‘{ sum += $2 } END { print sum }‘
ls s07_s06_s05_s04_s03_s02_* |xargs cat > err.log
awk -F‘,‘ ‘{if(NF>=4)sum += $(NF-3)} END { print sum }‘ err.log

cat xxx.log |head |awk -F" " ‘{print $8}‘ |awk -F‘,‘ ‘BEGIN{
RS=" +"
}
{
sum+=$0
}
NR==1 {
max=$1;min=$1
next
}
$1>max {
max=$1
}
$1<min {
min=$1
}
END{
printf "max number is:%s ",max
printf "min number is:%s ",min
printf "sum number is:%s ",sum
printf "average is:%.2f ",sum/NR
}‘
```

打印定义内容

cat 1.log |awk -F‘ ‘ ‘{print NR" "$1 $2" nan nan"}‘

#### 单引号
awk ‘{print "‘‘‘"}‘

#### 分类统计
```
$ cat datafile
姓名 类型 金额
张三 1 27.43
李四 2 33.44
张三 2 55.55
丁六 1 66.66
赵七 1 77.77
$ cat datafile |awk -F‘ ‘ ‘{types[$2]+=$3;count[$2]++}END{for(i in types) printf"类型%s 共%d行 合计 %f ",i,count[i],types[i]}‘
类型类型 共1行 合计 0.000000
类型1 共3行 合计 171.860000
类型2 共2行 合计 88.990000
```