sedawk——运维必须掌握的两个工具

Posted 2020-11-07 ruanbo

今天主要跟大家介绍2个非常霸道的工具，sed和awk，本篇文章将介绍这两个工具在日常运维中的常用用法，工作中这两个工具要掌握好了在结合一些管道命令、正则表达式，日常处理事务简直666啦！

l Sed

1．强大的地方

擅长对数据行进行处理，sed是一种流编辑器，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。

2．用法

sed [-nefr] [动作]

选项:

-n:使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行或动作才会被列出来

-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是扩展型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到屏幕

动作说明： [n1[,n2]] function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 

Function一般有以下参数：

a：新增，后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)

c: 替换，后面可以接字符串，这些字符串可以替换 n1,n2 之间的行

d:删除

i:插入，后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)

p:打印，将某个选择的数据打印出来。通常跟参数-n 一起运行

s:替换，用一个字符串替换另一个，注意与c参数的区别

3．举例 我们用/ etc/passwd文件来演示，先来看看sed不加参数跟加上-n参数是怎样的

 

看上图明白选项一栏-n参数后面的解释意思了吧，不加参数是输出了文件所有信息并且多打印了第一行的数据，加上-n参数就只打印了第一行的数据，1p就是打印第一行，2p;4,10p就是打印第2行以及第4-10行啦

删除第1-10行，留意行号变化

 

删除第1行，第10行，留意行号变化

 

将passwd文件中包含/sbin/nologin替换为/bin/bash并打印输出

 

将passwd文件中第2行的数据替换为test，注意到与s参数的区别了吧

 

在passwd文件第二行新增test字符串

 

在passwd文件第二行插入test字符串

 

删除passwd文件的第三行至末尾行

 

l Awk

1．强大的地方

擅长对数据列进行处理，就是把数据逐行的读入，以空格为默认分隔符再将每行切断，对切断的部分再进行分析处理。

2．用法

awk ‘条件类型1{动作1} 条件类型2{动作2} ...‘ filename  选项：

-F fs：字段分隔符，fs是一个字符串或者是一个正则表达式，如-F:

如要对数据做特殊处理，可能还会用到awk的内置变量：

变量名称	代表意义
NF	每一行($0)拥有字段总数
NR	目前awk处理的第几行
FS	目前分隔符，默认是空格键

3．举例

我们还是以/etc/passwd 文件为例。以：为分隔符，打印passwd 文件中每行用户名称user（$1）及用户uid($3)。补充：$0代表一整行数据的意思

 

打印passwd文件中uid>=500 的用户名称及UID

 

打印passwd每一行的数据，并以：为分隔符计算每行的字符总数打印在每行数据的末尾

 

打印passwd文件中以：为分隔符第三个字段即UID>=500的数据所在行号

 

想想日常工作中如何要获取文件中第几行第几列的数据应该如何操作，如打印passwd文件中第一行与最后一行第一列的数据，sed跟awk结合使用啦。

 

总结：关于sed跟awk日常要用到的用法就说到这里啦，从事运维的同事一定要熟练运用这两个工具哦，特别是需要经常做数据汇报的，能减轻很大工作量。