管道（Pipe）

Posted 2020-10-01 Steve_Nash

参考http://www.cnblogs.com/kkgreen/archive/2012/03/25/2417036.html

总而言之，输出数据有时候会很多，如何过滤到我们想要的最终结果？用Pipe，符号是 | 

 

撷取命令cut、grep

含义：就是将一段数据经过分析后，取出我们所想要的

注意：一般来说，撷取讯息通常是针对『一行一行』来分析的

 

1.Cut

格式：cut -d \'分隔字符\' -f fields

　　　　cut -c 字符区间

参数：
-d ：后面接分隔字符。与 -f 一起使用；
-f ：依据 -d 的分隔字符将一段讯息分割成为数段，用 -f 取出第几段的意思；
-c ：以字符 (characters) 的单位取出固定字符区间；

 

范例一：去除PATH变量的第三个路径

$ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

$ echo $PATH | cut -d \':\' -f 3
/usr/sbin 

 以冒号为分割符取出第三个路径，如果要同时取出多个，比如第三个和第五个，就这样写

$ echo $PATH | cut -d \':\' -f 3,5
/usr/sbin:/sbin

 

范例二：取出export输出的第12字符以后的所有字符串

$ export
declare -x HOME="/home/philosophie"
declare -x LANG="zh_CN.UTF-8"
declare -x LANGUAGE="zh_CN:zh"
declare -x LESSCLOSE="/usr/bin/lesspipe %s %s"
declare -x LESSOPEN="| /usr/bin/lesspipe %s"

………………

………………

$ export | cut -c 12-
HOME="/home/philosophie"
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh"
LESSCLOSE="/usr/bin/lesspipe %s %s"
LESSOPEN="| /usr/bin/lesspipe %s"

 

注意：1.还是上面提到的，是一行一行处理的，所以是每一行的第12字符开始。

　　2.上面是 12- 而不是12。可以这样理解，cut还可以指定区间，比如要12到20之间的，就这样写

$ export | cut -c 12-20
HOME="/ho
LANG="zh_
LANGUAGE=
LESSCLOSE

这样就能体会到为什么是12-了

 

范例三：用 last 将这个月登入者的信息中，仅留下使用者大名

$ last
philosop pts/43 192.168.1.102 Sun Aug 6 18:20 still logged in
philosop pts/41 192.168.1.102 Sun Aug 6 18:20 still logged in
philosop pts/41 192.168.1.103 Sun Aug 6 18:10 - 18:12 (00:02)
philosop pts/41 192.168.1.103 Sun Aug 6 17:56 - 17:59 (00:03)

利用空格作为分隔符，取出第一个信息即可

$ last | cut -d \' \' -f 1
philosop
philosop
philosop

 

可以发现，当要处理的数据具有某种格式的时候，用cut能很好的分割出我们要的数据，可以用在分析服务器上log文件

注意：cat在遇到多空格的时候是不会当作一个空格处理的，比如有一个文件ab里面的内容是abc   cb fda b

用空格作为分隔符找出第一个和第二个信息会这样写

$ cat ab | cut -d \' \' -f 1,2
abc

 

可以发现，并没有得到想要的结果。

 

2.grep

cut是用来检查每行，把我们需要的东西（符合我们要求的东西）提取出来。

grep是检查每行有没有符合我们要求的（比如包含某个字符串），就将这行拿出来

之前有写 http://www.cnblogs.com/i-love-kobe/p/7281296.html

 

3.排序命令 sort、wc、uniq

sort

格式：sort [-fbMnrtuk] [file or stdin]
参数：
-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；
-b ：忽略最前面的空格符部分；
-M ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法；
-n ：使用『纯数字』进行排序(预设是以文字型态来排序的)；
-r ：反向排序；
-u ：就是 uniq ，相同的数据中，仅出现一行代表；
-t ：分隔符，预设是 tab 键；
-k ：以那个区间 (field) 来进行排序的意思，

 

范例一：有个a.lua的内容如下

local function fun()
print(\'i am a function\')
end

fun()

 

$ cat a.lua | sort

end
fun()
local function fun()
print(\'i am a function\')

可见是按照每行头一个字母来排序的

 

范例二：有个文件b是这样的

$ cat b
fefo:zz:qq:ppp
a:b:c:d
d:c:o:p
ahife:mo:e:ooo

然后按照：作为分隔符，并对第二栏进行排序

$ cat b | sort -t \':\' -k 2
a:b:c:d
d:c:o:p
ahife:mo:e:ooo
fefo:zz:qq:ppp

 

uniq

作用：去掉重复

格式：uniq [-ic]

参数：
-i ：忽略大小写字符的不同；
-c ：进行计数

 

范例一：last会列出这个月的登入者信息，比如

 

$ last
PhiloJia pts/15 172.20.157.140 Mon Aug 7 09:51 still logged in
ShinekyL pts/13 172.20.156.17 Mon Aug 7 09:48 still logged in
MarkYin pts/11 172.20.156.159 Mon Aug 7 09:44 still logged in
MisakaWa pts/4 172.20.156.13 Mon Aug 7 09:20 still logged in
YuchengM pts/4 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)
YuchengM pts/0 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)

YuchengM pts/0 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)

会发现其中有一些重复的名字信息，如果要将重复的只要列出一个就好了

$ last | cut -d \' \' -f 1 | sort | uniq

HaustWan
JamesYan
JayceHe
JiahaoWu
JinZhang

 

范例二：在范例一的基础上，打印出每个人登陆了多少次，也就是每个名字重复了多少次

$ last | cut -d \' \' -f 1 | sort | uniq -c
1
3 HaustWan
6 JamesYan
3 JayceHe
4 JiahaoWu
2 JinZhang

注意：这里如果没有sort的话仍然是会有重复的，所以我猜这个去重的功能应该只是检测相邻的

 

wc

作用：统计行数、字数、字符数

格式：wc [-lwm]

参数：
-l ：仅列出行；
-w ：仅列出多少字(英文单字)；
-m ：多少字符；

范例一：a.lua里面只写了一句Hello World

 

$ cat a.lua | wc
1 2 12  # 分别是行数、字数、字符数

注意：字数和字符数的区别

 

范例二：last输出的最后两行并不是登入者的账户信息，而是一行空格一行wtmp开头的内容。现在要统计总的登入人次

 

$ last | grep [a-zA-Z] | grep -v \'wtmp\' | wc -l
71

如果要去掉重复登入的人，统计一共有多少人登入

$ last | grep [a-zA-Z] | grep -v \'wtmp\' | cut -d \' \' -f 1 | sort | uniq | wc -l
16

 

tee

作用：如果用 > 重定向输出，比如 last > last.list ，那么last的信息会存入到last.list中，而屏幕不会有输出，要保存，而且屏幕还要有显示，就要用到tee

格式：tee [-a] file

参数：-a ，以追加的方式（append），将数据存入file中

比如：last | tee last.list | cut -d " " -f1

tee操作之后还可以继续操作，比如上面继续cut