Linux命令篇之cut命令和join命令

Posted 2020-09-01

cut命令的用法

cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的

（1）其语法格式为：
cut  [-bn] [file] 或 cut [-c] [file]  或  cut [-df] [file]

使用说明
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

主要参数
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c：以字符为单位进行分割。
-d：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。
-n：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br/>范围之内，该字符将被写出；否则，该字符将被排除。

（2）cut一般以什么为依据呢? 也就是说，我怎么告诉cut我想定位到的剪切内容呢?

cut命令主要是接受三个定位方法：

第一，字节（bytes），用选项-b

第二，字符（characters），用选项-c

第三，域（fields），用选项-f

（3）以“字节”定位

举个例子吧，当你执行ps命令时，会输出类似如下的内容：

[[email protected]]$ who
rocrocket :0          2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23(:0.0)
rocrocket pts/1        2009-01-08 14:15(:0.0)
如果我们想提取每一行的第3个字节，就这样：

[[email protected]]$ who|cut -b 3
c
c
c

（4）如果“字节”定位中，我想提取第3，第4、第5和第8个字节，怎么办?

-b支持形如3-5的写法，而且多个定位之间用逗号隔开就成了。看看例子吧：

[[email protected]]$ who|cut -b 3-5,8
croe
croe
croe
但有一点要注意，cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，然后再提取。可不能颠倒定位的顺序哦。这个例子就可以说明这个问题：

[[email protected]]$ who|cut -b 8,3-5
croe
croe
croe
（5）还有哪些类似“3-5”这样的小技巧，列举一下吧!

[[email protected]]$ who
rocrocket :0          2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23(:0.0)
rocrocket pts/1        2009-01-08 14:15(:0.0)
[[email protected] programming]$ who|cut -b -3
roc
roc
roc
[[email protected] programming]$ who|cut -b 3-
crocket :0          2009-01-08 11:07
crocket pts/0        2009-01-08 11:23 (:0.0)
crocket pts/1        2009-01-08 14:15 (:0.0)
想必你也看到了，-3表示从第一个字节到第三个字节，而3-表示从第三个字节到行尾。如果你细心，你可以看到这两种情况下，都包括了第三个字节“c”。

如果我执行who|cut -b -3,3-，你觉得会如何呢？答案是输出整行，不会出现连续两个重叠的c的。看：

[[email protected]]$ who|cut -b -3,3-
rocrocket :0          2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23(:0.0)
rocrocket pts/1        2009-01-08 14:15(:0.0)
（6）给个以字符为定位标志的最简单的例子吧!

下面例子你似曾相识，提取第3，第4，第5和第8个字符：

[[email protected]]$ who|cut -c 3-5,8
croe
croe
croe
不过，看着怎么和-b没有什么区别啊？莫非-b和-c作用一样? 其实不然，看似相同，只是因为这个例子举的不好，who输出的都是单字节字符，所以用-b和-c没有区别，如果你提取中文，区别就看出来了，来，看看中文提取的情况：

[[email protected]]$ cat cut_ch.txt
星期一
星期二
星期三
星期四
[[email protected] programming]$ cut -b 3 cut_ch.txt




[[email protected] programming]$ cut -c 3 cut_ch.txt
一
二
三
四
看到了吧，用-c则会以字符为单位，输出正常；而-b只会傻傻的以字节（8位二进制位）来计算，输出就是乱码。

既然提到了这个知识点，就再补充一句，如果你学有余力，就提高一下。
当遇到多字节字符时，可以使用-n选项，-n用于告诉cut不要将多字节字符拆开。

例子如下：
[[email protected] programming]$ cat cut_ch.txt |cut -b 2




[[email protected] programming]$ cat cut_ch.txt |cut -nb 2

[[email protected]]$ cat cut_ch.txt |cut -nb 1,2,3
星
星
星
星
（7）域是怎么回事呢？解释解释:)

为什么会有“域”的提取呢，因为刚才提到的-b和-c只能在固定格式的文档中提取信息，而对于非固定格式的信息则束手无策。这时候“域”就派上用场了。如果你观察过/etc/passwd文件，你会发现，它并不像who的输出信息那样具有固定格式，而是比较零散的排放。但是，冒号在这个文件的每一行中都起到了非常重要的作用，冒号用来隔开每一个项。

我们很幸运，cut命令提供了这样的提取方式，具体的说就是设置“间隔符”，再设置“提取第几个域”，就OK了！

以/etc/passwd的前五行内容为例：

[[email protected]]$ cat /etc/passwd|head -n 5
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1
root
bin
daemon
adm
lp
看到了吧，用-d来设置间隔符为冒号，然后用-f来设置我要取的是第一个域，再按回车，所有的用户名就都列出来了！呵呵 有成就感吧！

当然，在设定-f时，也可以使用例如3-5或者4-类似的格式：

[[email protected]]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
root:0:0:root
bin:1:1:bin
daemon:2:2:daemon
adm:3:4:adm
lp:4:7:lp
[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f1,3-5,7
root:0:0:root:/bin/bash
bin:1:1:bin:/sbin/nologin
daemon:2:2:daemon:/sbin/nologin
adm:3:4:adm:/sbin/nologin
lp:4:7:lp:/sbin/nologin
[[email protected] programming]$ cat /etc/passwd|head -n 5|cut -d : -f -2
root:x
bin:x
daemon:x
adm:x
lp:x
（8）如果遇到空格和制表符时，怎么分辨呢？我觉得有点乱，怎么办？

有时候制表符确实很难辨认，有一个方法可以看出一段空格到底是由若干个空格组成的还是由一个制表符组成的。

[[email protected]]$ cat tab_space.txt
this is tab finish.
this is several space      finish.
[[email protected] programming]$ sed -n l tab_space.txt
this is tab\tfinish.$
this is several space      finish.$
看到了吧，如果是制表符（TAB），那么会显示为\t符号，如果是空格，就会原样显示。
通过此方法即可以判断制表符和空格了。
注意，上面sed -n后面的字符是L的小写字母哦，不要看错。

（9）我应该在cut -d中用什么符号来设定制表符或空格呢?

其实cut的-d选项的默认间隔符就是制表符，所以当你就是要使用制表符的时候，完全就可以省略-d选项，而直接用－f来取域就可以了。

如果你设定一个空格为间隔符，那么就这样：

[[email protected]]$ cat tab_space.txt |cut -d ‘ ‘ -f 1
this
this
注意，两个单引号之间可确实要有一个空格哦，不能偷懒。
而且，你只能在-d后面设置一个空格，可不许设置多个空格，因为cut只允许间隔符是一个字符。

[[email protected]]$ cat tab_space.txt |cut -d ‘ ‘ -f 1
cut: the delimiter must be a single character
Try `cut --help‘ for more information.

（10）cut有哪些缺陷和不足？

猜出来了吧？对，就是在处理多空格时。
如果文件里面的某些域是由若干个空格来间隔的，那么用cut就有点麻烦了，因为cut只擅长处理“以一个字符间隔”的文本内容

join命令的用法

功能说明：将两个文件中，指定栏位内容相同的行连接起来。

    语　　法：join [-i][-a<1或2>][-e<字符串>][-o<格式>] [-t<字符>][-v<1或2>][-1<栏位>][-2<栏位>][--help] [--version][文件1][文件2]

    补充说明：找出两个文件中，指定栏位内容相同的行，并加以合并，再输出到标准输出设备。

    参　　数：

    -a<1或2>   除了显示原来的输出内容之外，还显示指令文件中没有相同栏位的行。

    -e<字符串>   若[文件1]与[文件2]中找不到指定的栏位，则在输出中填入选项中的字符串。

    -i或--igore-case   比较栏位内容时，忽略大小写的差异。

    -o<格式>   按照指定的格式来显示结果。

    -t<字符>   使用栏位的分隔字符。

    -v<1或2>   跟-a相同，但是只显示文件中没有相同栏位的行。

    -1<栏位>   连接[文件1]指定的栏位。

    -2<栏位>   连接[文件2]指定的栏位。

    --help   显示帮助。

    --version   显示版本信息。

指定输出字段：

-o <FILENO.FIELDNO> ...

其中FILENO=1表示第一个文件，FILENO=2表示第二个文件，FIELDNO表示字段序号，从1开始编号。默认会全部输出，但关键字列只输出一次。

比如：-o 1.11.22.2表示输出第一个文件的第一个字段、第二个字段，第二个文件的第二个字段。

使用示例

示例一 内连接（忽略不匹配的行）

不指定任何参数的情况下使用join命令，就相当于数据库中的内连接，关键字不匹配的行不会输出。

[[email protected] linux]# cat month_cn.txt

1       一月

2       二月

3       三月

4       四月

5       五月

6       六月

7       七月

8       八月

9       九月

10      十月

11      十一月

12      十二月

13      十三月，故意的

[[email protected] linux]# cat month_en.txt

1       January

2       February

3       March

4       April

5       May

6       June

7       July

8       August

9       September

10      October

11              November

12      December

14      MonthUnknown

注：注意两个文件的内容，中文版的多了十三月，英文版的多了14月，这纯粹是为了方便演示。

[[email protected] linux]# join month_cn.txt month_en.txt

1一月 January

2二月 February

3三月 March

4四月 April

5五月 May

6六月 June

7七月 July

8八月 August

9九月 September

10十月 October

11十一月 November

12十二月 December

[[email protected] linux]#

示例二 左连接（又称左外连接，显示左边所有记录）

显示左边文件中的所有记录，右边文件中没有匹配的显示空白。

[[email protected] linux]# join -a1 month_cn.txt month_en.txt

1一月 January

2二月 February

3三月 March

4四月 April

5五月 May

6六月 June

7七月 July

8八月 August

9九月 September

10十月 October

11十一月 November

12十二月 December

13十三月，故意的

[[email protected] linux]#

示例三 右连接（又称右外连接，显示右边所有记录）

显示右边文件中的所有记录，左边文件中没有匹配的显示空白。

[[email protected] linux]# join -a2 month_cn.txt month_en.txt

1一月 January

2二月 February

3三月 March

4四月 April

5五月 May

6六月 June

7七月 July

8八月 August

9九月 September

10十月 October

11十一月 November

12十二月 December

14 MonthUnknown

[[email protected] linux]#

示例四 全连接（又称全外连接，显示左边和右边所有记录）

[ro[email protected] linux]# join -a1 -a2 month_cn.txt month_en.txt

1一月 January

2二月 February

3三月 March

4四月 April

5五月 May

6六月 June

7七月 July

8八月 August

9九月 September

10十月 October

11十一月 November

12十二月 December

13十三月，故意的

14 MonthUnknown

[[email protected] linux]#

示例五 指定输出字段

比如参数 -o 1.1表示只输出第一个文件的第一个字段。

[[email protected] linux]# join -o 1.1 month_cn.txt month_en.txt

1

2

3

4

5

6

7

8

9

10

11

12

[[email protected] linux]# join -o 1.12.2 month_cn.txt month_en.txt

1 January

2 February

3 March

4 April

5 May

6 June

7 July

8 August

9 September

10 October

11 November

12 December

[[email protected] linux]# join -o 1.12.21.2 month_cn.txt month_en.txt

1 January 一月

2 February 二月

3 March 三月

4 April 四月

5 May 五月

6 June 六月

7 July 七月

8 August 八月

9 September 九月

10 October 十月

11 November 十一月

12 December 十二月

[[email protected] linux]# join -o 1.12.21.21.3 month_cn.txt month_en.txt   <== 字段1.3并不存在

1 January 一月

2 February 二月

3 March 三月

4 April 四月

5 May 五月

6 June 六月

7 July 七月

8 August 八月

9 September 九月

10 October 十月

11 November 十一月

12 December 十二月

[[email protected] linux]#

示例六 指定分隔符

[[email protected] linux]# join -t ‘:‘ /etc/passwd /etc/shadow

root:x:0:0:root:/root:/bin/bash:$1$K8WSIAfQ$9i1h6a4V1XeIn0lv.CT53/:14833:0:99999:7:::

bin:x:1:1:bin:/bin:/sbin/nologin:*:14833:0:99999:7:::

daemon:x:2:2:daemon:/sbin:/sbin/nologin:*:14833:0:99999:7:::

adm:x:3:4:adm:/var/adm:/sbin/nologin:*:14833:0:99999:7:::

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin:*:14833:0:99999:7:::

sync:x:5:0:sync:/sbin:/bin/sync:*:14833:0:99999:7:::

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown:*:14833:0:99999:7:::

halt:x:7:0:halt:/sbin:/sbin/halt:*:14833:0:99999:7:::

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin:*:14833:0:99999:7:::

news:x:9:13:news:/etc/news::*:14833:0:99999:7:::

uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin:*:14833:0:99999:7:::

operator:x:11:0:operator:/root:/sbin/nologin:*:14833:0:99999:7:::

games:x:12:100:games:/usr/games:/sbin/nologin:*:14833:0:99999:7:::

gopher:x:13:30:gopher:/var/gopher:/sbin/nologin:*:14833:0:99999:7:::

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin:*:14833:0:99999:7:::

nobody:x:99:99:Nobody:/:/sbin/nologin:*:14833:0:99999:7:::

nscd:x:28:28:NSCD Daemon:/:/sbin/nologin:!!:14833:0:99999:7:::

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin:!!:14833:0:99999:7:::

rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin:!!:14833:0:99999:7:::

mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin:!!:14833:0:99999:7:::

smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin:!!:14833:0:99999:7:::

pcap:x:77:77::/var/arpwatch:/sbin/nologin:!!:14833:0:99999:7:::

ntp:x:38:38::/etc/ntp:/sbin/nologin:!!:14833:0:99999:7:::

dbus:x:81:81:System message bus:/:/sbin/nologin:!!:14833:0:99999:7:::

avahi:x:70:70:Avahi daemon:/:/sbin/nologin:!!:14833:0:99999:7:::

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin:!!:14833:0:99999:7:::

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin:!!:14833:0:99999:7:::

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin:!!:14833:0:99999:7:::

haldaemon:x:68:68:HAL daemon:/:/sbin/nologin:!!:14833:0:99999:7:::

avahi-autoipd:x:100:101:avahi-autoipd:/var/lib/avahi-autoipd:/sbin/nologin:!!:14833:0:99999:7:::

oprofile:x:16:16:Special user account to be used by OProfile:/home/oprofile:/sbin/nologin:!!:14833:0:99999:7:::

xfs:x:43:43:X Font Server:/etc/X11/fs:/sbin/nologin:!!:14833:0:99999:7:::

gdm:x:42:42::/var/gdm:/sbin/nologin:!!:14833:0:99999:7:::

sabayon:x:86:86:Sabayon user:/home/sabayon:/sbin/nologin:!!:14833:0:99999:7:::

oracle:x:500:500::/opt/oracle:/bin/bash:$1$v64Pa.m.$GZMrQiOWCdQPF8XKtWju30:14833:0:99999:7:::

mysql:x:101:104:MySQL server:/var/lib/mysql:/bin/bash:!!:14866::::::

本文出自 “鹏哥的博客” 博客，谢绝转载！