shell awk 的基本使用

Posted 2021-06-27 xiaojin21cen

awk ，一个强大的文本分析工具，把文件逐行的读入，以指定分隔符将每行切片，切开的部分再进行分析处理。

1. 基本用法

awk  [选项参数]  'pattern1{action1}  pattern2{action2}...'  filename

选项参数说明：

选项参数	功能
-F	分隔符。使用指定的分隔符对文件进行切割 。默认的分隔符是空格。
-v	临时变量。赋值一个用户定义变量

patternN{actionN} 说明：

• pattern ：表示 awk 在数据中查找的内容，就是匹配模式；
• action ：在找到匹配内容时所执行的一系列命令；

常用变量：

• $1、$2...$N ，表示分割后的第1列，第2列 …第N列。
• $0， 表示所有列

2. 案例实操

（0）数据准备

[java@localhost java_demo]$ cp  /etc/passwd  ./

（1）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

[java@localhost java_demo]$ awk -F: '/^root/{print $7}' passwd
/bin/bash

（2）搜索 passwd 文件以 root 关键字开头的所有行，并输出该行的第1列和第7列，中间以 ， 分割。

[java@localhost java_demo]$ awk -F: '/^root/{print $1","$7}' passwd
root,/bin/bash

注意：只有匹配了pattern的行才会执行 action 。

（3）只显示 /etc/passwd 的第1列和第7列，以逗号分割，且在所有行的前面添加列名user，shell ，在最后一行添加 dahaige，/bin/zuishuai 。

[java@localhost java_demo]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
...
java,/bin/bash
dahaige,/bin/zuishuai

注意：

BEGIN 在所有数据读取行之前执行。
END 在所有数据执行之后执行。

（4）将passwd文件中的用户id 增加数值1 ，并输出

[java@localhost java_demo]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4
...
73
1001

4. awk的内置变量

变量	说明
FILENAME	文件名
NR	行号，第几行
NF	切割后，列的个数

5. 案例实操

（1）在 passwd 文件的每行前面加上的行号

[java@localhost java_demo]$ awk '{print NR","$0}' passwd
1,root:x:0:0:root:/root:/bin/bash
2,bin:x:1:1:bin:/bin:/sbin/nologin
3,daemon:x:2:2:daemon:/sbin:/sbin/nologin
4,adm:x:3:4:adm:/var/adm:/sbin/nologin
...
45,tcpdump:x:72:72::/:/sbin/nologin
46,java:x:1000:1000:java:/home/java:/bin/bash
[java@localhost java_demo]$ 

（2） 统计 file 文件中空行的行号。

file 内容如下：

ls:10:3.5

bb:40:5.4
ss:30:1.6

bd:20:4.2

xz:50:2.3

空行的行号，命令如下：

[java@localhost java_demo]$ awk '/^$/{print NR}' file1.txt 
2
5
7

（3）切割IP

参考文章： Centos7 ，使用grep，cut 、awk 提取IP地址

（4）查询sed.txt中空行所在的行号

[java@localhost java_demo]$ awk '/^$/{print NR}' sed.txt 

（5）求和，求出学生成绩的总和。

文件 chengji.txt 的内容如下:

张三 40
李四 50
王五 60

使用Linux命令提取并输出分数，并在最后输出求和总数。

[java@localhost java_demo]$ awk -v num=0  -F" " '{num+=$2} END  {print num}' chenji.txt 
150