Linux（三十）三剑客整理及小工具拓展
Posted 云来云去-起飞
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux（三十）三剑客整理及小工具拓展相关的知识，希望对你有一定的参考价值。
目录
一、三剑客之SED
1.1.基础知识
1.1.1.概述
- Linux sed 命令是利用脚本来处理文本文件。
- sed 可依照脚本的指令来处理、编辑文本文件。
- Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等
1.1.2.语法
sed [-hnV][-e<script>][-f<script文件>][文本文件]
#参数说明
-e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
-f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
-h或--help 显示帮助。
-n或--quiet或--silent 仅显示script处理后的结果。
-V或--version 显示版本信息。
#动作说明
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
1.2.案列展示
1.2.1.在/etc/passwd 第四行添加
sed -e 4a\\newLine /etc/passwd1.2.2. 追加插入
#追加一行的话前后都不需要添加换行符 \\n，只有追加多行时在行与行之间才需要添加换行符(最后一行最后也无需添加，添加的话会多出一个空行)。
sed -e '4 a newline\\nnewline2' /etc/passwdi的追加方式
cat /etc/passwd | sed '2i drink tea' 1.2.3.删除
#删除2到5行
cat /etc/passwd | sed '2,5d'
#删除2到最后一行
cat /etc/passwd | sed '2,$d'
1.2.4.替换
#使用-c进行整行替换
[root@www ~]# cat /etc/passwd | sed '2,5c No 2-5 number'
#使用sed '//'进行替换 将全文包含的root替换为ROOT，
cat /etc/passwd | sed '/s/root/ROOT/g'
#精确匹配root进行替换，也可以使用\\<\\>来进行精确定位
cat /etc/passwd | sed '/s/(root)/ROOT/g'1.2.5.打印展示
#打印第5到7行 如果不加-n 将出现重复打印，-p为动作命令
cat /etc/passwd | sed -n '5,7p'1.2.6.多点编辑
#一条sed命令，删除/etc/passwd第三行到末尾的数据，并把bash替换为blueshell
cat /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'1.2.7修改文本内容
#通过sed -i 可以直接修改内容
sed -i 's/\\.$/\\!/g' regular_express.txt
#无-i忽略大小写
sed '5,7/root/Ipg'
#有-i忽略大小写
sed -i '5,7/root/ipg'
二、三剑客之AWK
2.1.概述
- AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
- 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
2.2.语法
awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)
#选项参数说明：
-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。2.3.案列
2.3.1.选择列进行输出打印
#基础用法
awk '[pattern] action' filenames # 行匹配语句 awk '' 只能用单引号
#示列如下
#打印/etc/passwd 第一列和第二列 此处-F 为分割符
awk -F: 'print $1,$2' /etc/passwd2.3.2.设置变量
#-va=1 则是将a变量的值设置为1 ，而$1+1 则是表示第二列
awk -va=1 'print $1,$1+a' /etc/passwd2.3.3. 调用awk -f的执行文件
awk -f awk脚本 文件名2.3.4.运算符
| 运算符 | 描述 |
|---|---|
| = += -= *= /= %= ^= **= | 赋值 |
| ?: | C条件表达式 |
| || | 逻辑或 |
| && | 逻辑与 |
| ~ 和 !~ | 匹配正则表达式和不匹配正则表达式 |
| < <= > >= != == | 关系运算符 |
| 空格 | 连接 |
| + - | 加，减 |
| * / % | 乘，除与求余 |
| + - ! | 一元加，减和逻辑非 |
| ^ *** | 求幂 |
| ++ -- | 增加或减少，作为前缀或后缀 |
| $ | 字段引用 |
| in | 数组成员 |
#案列：过滤第一列大于2并且第二列等于'Are'的行
$ awk '$1>2 && $2=="Are" print $1,$2,$3' log.txt #命令
#输出
3 Are you2.3.5.内建变量
| 变量 | 描述 |
|---|---|
| $n | 当前记录的第n个字段，字段间由FS分隔 |
| $0 | 完整的输入记录 |
| ARGC | 命令行参数的数目 |
| ARGIND | 命令行中当前文件的位置(从0开始算) |
| ARGV | 包含命令行参数的数组 |
| CONVFMT | 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组 |
| ERRNO | 最后一个系统错误的描述 |
| FIELDWIDTHS | 字段宽度列表(用空格键分隔) |
| FILENAME | 当前文件名 |
| FNR | 各文件分别计数的行号 |
| FS | 字段分隔符(默认是任何空格) |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| NF | 一条记录的字段的数目 |
| NR | 已经读出的记录数，就是行号，从1开始 |
| OFMT | 数字的输出格式(默认值是%.6g) |
| OFS | 输出字段分隔符，默认值与输入字段分隔符一致。 |
| ORS | 输出记录分隔符(默认值是一个换行符) |
| RLENGTH | 由match函数所匹配的字符串的长度 |
| RS | 记录分隔符(默认是一个换行符) |
| RSTART | 由match函数所匹配的字符串的第一个位置 |
| SUBSEP | 数组下标分隔符(默认值是/034) |
2.3.6.正则匹配
#~ 表示模式开始。// 中是模式。
awk '/re/ ' log.txt2.3.7.忽略大小写
awk 'BEGINIGNORECASE=1 /this/' log.txt2.4.awk脚本
关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。
- BEGIN 这里面放的是执行前的语句
- END 这里面放的是处理完所有的行后要执行的语句
- 这里面放的是处理每一行时要执行的语句
2.4.1.案列
假设有这么一个文件（学生成绩表）：
$ cat score.txt
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
我们的 awk 脚本如下：
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\\n"
printf "---------------------------------------------\\n"
#运行中
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\\n", $1, $2, $3,$4,$5, $3+$4+$5
#运行后
END
printf "---------------------------------------------\\n"
printf " TOTAL:%10d %8d %8d \\n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\\n", math/NR, english/NR, computer/NR
我们来看一下执行结果：
$ awk -f cal.awk score.txt
NAME NO. MATH ENGLISH COMPUTER TOTAL
---------------------------------------------
Marry 2143 78 84 77 239
Jack 2321 66 78 45 189
Tom 2122 48 77 71 196
Mike 2537 87 97 95 279
Bob 2415 40 57 62 159
---------------------------------------------
TOTAL: 319 393 350
AVERAGE: 63.80 78.60 70.002.4.2.案列2打印99乘法表
seq 9 | sed 'H;g' | awk -v RS='' 'for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\\n":"\\t")'
三、小工具拓展
3.1.sort工具
- -f:忽略大小写
- o-b:忽略每行前面的空格
- -M:按照月份进行排序
- o-n:按照数字进行排序
- -r:反向排序
- -u:等同于uniq，表示相同的数据仅显示一行
- -t:指定分隔符，默认使用[Tab]键分隔
- -o<输出文件>:将排序后的结果转存至指定文件
- -k:指定排序区域
3.2.uniq工具
- 用于报告或者忽略文件中的重复行一般与sort命令结合使用
- o-c:进行计数
- o-d:仅显示重复行
- -u:仅显示出现一次的行
3.3.cut工具
- -b:按字节截取
- -c:按字符截取，常用于中文
- -d:指定以什么为分隔符截取，默认为制表符
- -f:通常和-d一起
3.3.1 示列
- 截取/etc/passwd 以：分割后的1到3列数据
cat /etc/passwd |cut -d: -f1-3- 截取/etc/passwd 以：分割后的1和3列数据
cat /etc/passwd |cut -d: -f1,33.4.expect工具
3.5.tr工具
●将输入字符由大写转换为小写
[root@localhost ~]# echo "KGC" | tr 'A-Z" 'a-z'
●压缩输入中重复的字符
[root@localhost ~]# echo "thissss isa text linnnnnnne." | tr -s ' sn'● 删除字符串中某些字符
[root@localhost ~]# echo 'hello world' | tr -d 'od'3.6 登录用户命令
[root@pxeserver ~]# last
以上是关于Linux（三十）三剑客整理及小工具拓展的主要内容，如果未能解决你的问题，请参考以下文章