Linux之选取信息命令介绍与应用20170331

Posted 2020-09-07 yuweifeng

在介绍选取信息命令之前，说一下管道符“|”与tr命令，因为在使用多个命令一起的时候经常用到它。

一、利用Linux所提供的管道符“|”将两个命令隔开，管道符左边命令的输出就会作为管道符右边命令的输入。连续使用

 

管道意味着第一个命令的输出会作为 第二个命令的输入，第二个命令的输出又会作为第三个命令的输入，依此类推。下面来看看管道是如何在构造一条Linux命令中得到应用的。

1.利用一个管道

# rpm -qa|grep licq

这条命令使用一个管道符“|”建立了一个管道。管道将rpm -qa命令的输出（包括系统中所有安装的RPM包）作为grep命令的输入，从而列出带有licq字符的RPM包来。

2.利用多个管道

# cat /etc/passwd | grep /bin/bash | wc -l

这条命令使用了两个管道，利用第一个管道将cat命令（显示passwd文件的内容）的输出送给grep命令，grep命令找出含有“/bin /bash”的所有行；第二个管道将grep的输出送给wc命令，wc命令统计出输入中的行数。这个命令的功能在于找出系统中有多少个用户使用bash。

如：$ .cat < /etc/motd | ./a.out

< 表示的是输入重定向的意思，就是把<后面跟的文件取代键盘作为新的输入设备。

| 则表示一个管道的意思，可以理解为东西从管道的一边流向另外一边。

你的命令意思就是说从/etc/motd文件中读取内容，然后把cat命令读取出来的内容作为后面一个命令 a.out的输入参数来执行a.out命令。

 

3.使用管道将结果使用grep 过滤,输入包含指定信息的行

命令 | grep <匹配信息>

bash-4.1$ cat error-2015-12-22.log  | grep ERROR 

10:05:31.824 [http-/192.168.0.80:8080-10] ERROR c.e.p.f.fastdfs.FastDFSClientImpl[97] - recv package

 

size -1 != 10 

15:54:26.458 [http-/192.168.0.80:8080-6] ERROR c.e.p.f.fastdfs.FastDFSClientImpl[97] - recv package

 

size -1 != 10<span style="font-size:18px;"><strong><span style="color:#ff0000;"> 

</span></strong></span> 

 

二、tr命令可以对来自标准输入的字符进行替换、压缩和删除。它可以将一组字符变成另一组字符，经常用来编写优美的单行命令，作用很强大。

语法 tr(选项)

(参数) 选项 -c或——complerment：取代所有不属于第一字符集的字符；

-d或——delete：删除所有属于第一字符集的字符；

-s或--squeeze-repeats：把连续重复的字符以单独一个字符表示；

-t或--truncate-set1：先删除第一字符集较第二字符集多出的字符。

参数

字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”；

字符集2：指定要转换成的目标字符集。

 

三、grep

命令格式

grep [OPTIONS] PATTERN [FILE...]

1.查找文件中是否存在指定的信息:

grep <查找信息>  <文件名>

2.在多个文件中查找:

grep <查找信息>  <文件名>  <文件名> ....

3.使用 -l 查找包含指定信息的文件名

grep -l  <查找信息>  <文件名>  <文件名> ....

 

-i, --ignore-case      忽略大小写

-x, --line-regexp    整行匹配

-y    "-i" 的同义词

-w, --word-regexp  单词匹配

-v, --invert-match    显示没有被模式匹配到的行，匹配的行不显示

 通用输出控制：

-c, --count    得到匹配行数。示例：

[[email protected] ~]$ grep -c -v "nologin" /etc/passwd  

--color[=WHEN], --colour[=WHEN]    匹配处，高亮显示【默认红色字体】。

示例： [[email protected] ~]$ grep --color "nologin" /etc/passwd  

 

grep用法: http://blog.csdn.net/wangxin1982314/article/details/50464259

http://blog.csdn.net/woshizhangliang999/article/details/46859161

 

四、find

查找文件

find ./ -type f

查找目录

find ./ -type d

查找名字为test的文件或目录

find ./ -name test

查找名字符合正则表达式的文件,注意前面的‘.*’(查找到的文件带有目录)

find ./ -regex .*so.*\.gz

查找目录并列出目录下的文件(为找到的每一个目录单独执行ls命令，没有选项-print时文件列表前一行不会显示目录名称)

find ./ -type d -print -exec ls {} \;

查找目录并列出目录下的文件(为找到的每一个目录单独执行ls命令,执行命令前需要确认)

find ./ -type d -ok ls {} \;

查找目录并列出目录下的文件(将找到的目录添加到ls命令后一次执行，参数过长时会分多次执行)

find ./ -type d -exec ls {} +

查找文件名匹配*.c的文件

find ./ -name \*.c

打印test文件名后，打印test文件的内容

find ./ -name test -print -exec cat {} \;

不打印test文件名，只打印test文件的内容

find ./ -name test -exec cat {} \;

查找文件更新日时在距现在时刻二天以内的文件

find ./ -mtime -2

查找文件更新日时在距现在时刻二天以上的文件

find ./ -mtime +2

查找文件更新日时在距现在时刻一天以上二天以内的文件

find ./ -mtime 2

查找文件更新日时在距现在时刻二分以内的文件

find ./ -mmin -2

查找文件更新日时在距现在时刻二分以上的文件

find ./ -mmin +2

查找文件更新日时在距现在时刻一分以上二分以内的文件

find ./ -mmin 2

查找文件更新时间比文件abc的内容更新时间新的文件

find ./ -newer abc

查找文件访问时间比文件abc的内容更新时间新的文件

find ./ -anewer abc

查找空文件或空目录

find ./ -empty

查找空文件并删除

find ./ -empty -type f -print -delete

查找权限为644的文件或目录(需完全符合)

find ./ -perm 664

查找用户/组权限为读写，其他用户权限为读(其他权限不限)的文件或目录

find ./ -perm -664

查找用户有写权限或者组用户有写权限的文件或目录

find ./ -perm /220

find ./ -perm /u+w,g+w

find ./ -perm /u=w,g=w

查找所有者权限有读权限的目录或文件

find ./ -perm -u=r

查找用户组权限有读权限的目录或文件

find ./ -perm -g=r

查找其它用户权限有读权限的目录或文件

find ./ -perm -o=r

五、cut

cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。

（1）其语法格式为：

cut  [-bn] [file] 或 cut [-c] [file]  或  cut [-df] [file]

使用说明

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

主要参数

-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。

-c ：以字符为单位进行分割。

-d ：自定义分隔符，默认为制表符。

-f  ：与-d一起使用，指定显示哪个区域。

-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除。

（2）cut一般以什么为依据呢? 也就是说，我怎么告诉cut我想定位到的剪切内容呢?

cut命令主要是接受三个定位方法：

第一，字节（bytes），用选项-b

第二，字符（characters），用选项-c

第三，域（fields），用选项-f

（3）以“字节”定位

举个例子吧，当你执行ps命令时，会输出类似如下的内容：

[[email protected] programming]$ who

rocrocket :0           2009-01-08 11:07

rocrocket pts/0        2009-01-08 11:23 (:0.0)

rocrocket pts/1        2009-01-08 14:15 (:0.0)

如果我们想提取每一行的第3个字节，就这样：

[[email protected] programming]$ who|cut -b 3

c

c

c

（4） 如果“字节”定位中，我想提取第3，第4、第5和第8个字节，怎么办?

-b支持形如3-5的写法，而且多个定位之间用逗号隔开就成了。看看例子吧：

[[email protected] programming]$ who|cut -b 3-5,8

croe

croe

croe

但有一点要注意，cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，

然后再提取。可不能颠倒定位的顺序哦。这个例子就可以说明这个问题：

[[email protected] programming]$ who|cut -b 8,3-5

croe

croe

croe

（5） 还有哪些类似“3-5”这样的小技巧，列举一下吧!

[[email protected] programming]$ who

rocrocket :0           2009-01-08 11:07

rocrocket pts/0        2009-01-08 11:23 (:0.0)

rocrocket pts/1        2009-01-08 14:15 (:0.0)

[[email protected] programming]$ who|cut -b -3

roc

roc

roc

[[email protected] programming]$ who|cut -b 3-

crocket :0           2009-01-08 11:07

crocket pts/0        2009-01-08 11:23 (:0.0)

crocket pts/1        2009-01-08 14:15 (:0.0)

想必你也看到了，-3表示从第一个字节到第三个字节，而3-表示从第三个字节到行尾。如果你细心，你可以看到这两种情况下，都包括了第三个字节“c”。

如果我执行who|cut -b -3,3-，你觉得会如何呢？答案是输出整行，不会出现连续两个重叠的c的。看：

[[email protected] programming]$ who|cut -b -3,3-

rocrocket :0           2009-01-08 11:07

rocrocket pts/0        2009-01-08 11:23 (:0.0)

rocrocket pts/1        2009-01-08 14:15 (:0.0)

（6）给个以字符为定位标志的最简单的例子吧!

下面例子你似曾相识，提取第3，第4，第5和第8个字符：

[[email protected] programming]$ who|cut -c 3-5,8

croe

croe

croe

不过，看着怎么和-b没有什么区别啊？莫非-b和-c作用一样? 其实不然，看似相同，只是因为这个例子举的不好，who输出的都是单字节字符，所以用-b和-c没有区别，如果你提取中文，区别就看出来了，来，看看中文提取的情况：

[[email protected] programming]$ cat cut_ch.txt

星期一

星期二

星期三

星期四

[[email protected] programming]$ cut -b 3 cut_ch.txt

?

?

?

?

[[email protected] programming]$ cut -c 3 cut_ch.txt

一

二

三

四

看到了吧，用-c则会以字符为单位，输出正常；而-b只会傻傻的以字节（8位二进制位）来计算，输出就是乱码。

既然提到了这个知识点，就再补充一句，如果你学有余力，就提高一下。

当遇到多字节字符时，可以使用-n选项，-n用于告诉cut不要将多字节字符拆开。例子如下：

[[email protected] programming]$ cat cut_ch.txt |cut -b 2

?

?

?

?

[[email protected] programming]$ cat cut_ch.txt |cut -nb 2

[[email protected] programming]$ cat cut_ch.txt |cut -nb 1,2,3

星

星

星

星

（7）域是怎么回事呢？解释解释:)

为什么会有“域”的提取呢，因为刚才提到的-b和-c只能在固定格式的文档中提取信息，而对于非固定格式的信息则束手无策。这时候“域”就派上用场了。如果你观察过/etc/passwd文件，你会发现，它并不像who的输出信息那样具有固定格式，而是比较零散的排放。但是，冒号在这个文件的每一行中都起到了非常重要的作用，冒号用来隔开每一个项。

我们很幸运，cut命令提供了这样的提取方式，具体的说就是设置“间隔符”，再设置“提取第几个域”，就OK了！

以/etc/passwd的前五行内容为例：

[[email protected] programming]$ cat /etc/passwd|head -n 5

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1

root

bin

daemon

adm

lp

看到了吧，用-d来设置间隔符为冒号，然后用-f来设置我要取的是第一个域，再按回车，所有的用户名就都列出来了！呵呵 有成就感吧！

当然，在设定-f时，也可以使用例如3-5或者4-类似的格式：

[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5

root:0:0:root

bin:1:1:bin

daemon:2:2:daemon

adm:3:4:adm

lp:4:7:lp

[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5,7

root:0:0:root:/bin/bash

bin:1:1:bin:/sbin/nologin

daemon:2:2:daemon:/sbin/nologin

adm:3:4:adm:/sbin/nologin

lp:4:7:lp:/sbin/nologin

[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f -2

root:x

bin:x

daemon:x

adm:x

lp:x

（8）如果遇到空格和制表符时，怎么分辨呢？我觉得有点乱，怎么办？

有时候制表符确实很难辨认，有一个方法可以看出一段空格到底是由若干个空格组成的还是由一个制表符组成的。

[[email protected] programming]$ cat tab_space.txt

this is tab finish.

this is several space      finish.

[[email protected] programming]$ sed -n l tab_space.txt

this is tab\tfinish.$

this is several space      finish.$

看到了吧，如果是制表符（TAB），那么会显示为\t符号，如果是空格，就会原样显示。

通过此方法即可以判断制表符和空格了。

注意，上面sed -n后面的字符是L的小写字母哦，不要看错。

（9）我应该在cut -d中用什么符号来设定制表符或空格呢?

其实cut的-d选项的默认间隔符就是制表符，所以当你就是要使用制表符的时候，完全就可以省略-d选项，而直接用－f来取域就可以了。

如果你设定一个空格为间隔符，那么就这样：

[[email protected] programming]$ cat tab_space.txt |cut -d ‘ ‘ -f 1

this

this

注意，两个单引号之间可确实要有一个空格哦，不能偷懒。

而且，你只能在-d后面设置一个空格，可不许设置多个空格，因为cut只允许间隔符是一个字符。

[[email protected] programming]$ cat tab_space.txt |cut -d ‘ ‘ -f 1

cut: the delimiter must be a single character

Try `cut --help‘ for more information.

（10）cut有哪些缺陷和不足？

猜出来了吧？对，就是在处理多空格时。

如果文件里面的某些域是由若干个空格来间隔的，那么用cut就有点麻烦了，因为cut只擅长处理“以一个字符间隔”的文本内容

 

选取信息命令举例：

    //运行route命令获取路由信息然后抓取包含default那一行的信息

    //接着去掉多余的空格压缩为一个空格

    //最后以空格为分隔符显示第二个区域也就是IP地址

    if(RunSysCmd2("route | grep default | tr -s ‘ ‘ | cut -d‘ ‘ -f2",

        gateWay, sizeof(gateWay)) == LD_SUCCESS)