linux sort uniq命令详解

Posted mianbaoshu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux sort uniq命令详解相关的知识,希望对你有一定的参考价值。

sort

功能说明:将文本文件内容加以排序,sort可针对文本文件的内容,以行为单位来排序。

sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]

  -b   忽略每行前面开始处的空格字符 。

  -c   检查文件是否已经按照顺序排序。

  -d   排序时,处理英文字母、数字及空格字符外,忽略其他的字符。

  -f   排序时,将小写字母视为大写字母。

  -i   排序时,除了040至176之间的ASCII字符外,忽略其他的字符。

  -m   将几个排序好的文件进行合并。

  -M   将前面3个字母依照月份的缩写进行排序。

  -n   依照数值的大小排序。

  -o<输出文件>   将排序后的结果存入指定的文件。

  -r   以相反的顺序来排序。

  -t<分隔字符>   指定排序时所用的栏位分隔字符。

 -k  选择以哪个区间进行排序

  +<起始栏位>-<结束栏位>   以指定的栏位来排序,范围由起始栏位到结束栏位的前一栏位。

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

源文件默认排序举栗举栗
  • banana
  • apple
  • pear
  • orange
  • apple
  • pear
  • 1
  • 2
  • 10

 


  • 1
  • 10
  • 2
  • apple
  • apple
  • banana
  • orange
  • pear
  • pear

 

-u 在输出行中去除重复行。

  • 1
  • 10
  • 2
  • apple
  • banana
  • orange
  • pear

-b   忽略每行前面开始处的空格字符。

cat space.txtcat space1.txt 
  •     aaa
  •     nn
  •  tt
  •   3
  • 11
  • aaa
  • nn
  • tt
  • 3
  • 11
 
sort space.txtsort space1.txtsort -b space.txt
  •     aaa
  •     nn
  •   3
  •  tt
  • 11 
  • 11 
  • 3
  • aaa
  • nn
  • tt
  • 11 
  •   3
  •     aaa
  •     nn
  •  tt

 

 

-o 把排序结果输出到原文件中

使用重定向:

sort test.txt>test.txt 后

test.txt为空

sort test.txt -o test.txt

cat test.txt

  • 1
  • 10
  • 2
  • apple
  • apple
  • banana
  • orange
  • pear
  • pear

-t<分隔字符> 指定排序时所用的栏位分隔字符。

-k  选择以哪个区间进行排序

 

cat date.txt 
2017-12-02
2017-01-09
2017-10-23
2017-04-24

 

sort -n -k 2 -t‘-‘ date.txt 
  • 2017-01-09
  • 2017-04-24
  • 2017-10-23
  • 2017-12-02

-n 依照数值的大小排序。

sort -n test.txt

  • apple
  • apple
  • banana
  • orange
  • pear
  • pear
  • 1
  • 2
  • 10

sort 默认情况下会将数字按照字符串来排序,

所以会出现2比10大的情况。使用-n能避免该情况

 

-c 检查文件是否已经按照顺序排序

sort -c 排好序的文件,无返回信息,echo $?为0

sort -c 未排序文件,有提示信息,echo $?为1

-r  以相反的顺序来排序

cat test.txt

  • 1
  • 11
  • 2
  • 34

sort -n -r test.txt

  • 34
  • 11
  • 2
  • 1
 

uniq

[-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

-u或--unique 只保留出现唯一一次的行列。

-d或--repeated 仅显示重复出现的行列,出现一次的行列不会显示

-c 在每列旁边显示该行重复出现的次数。

-f n 或--skip-fields=n 忽略前N个字段。字段由空白字符(空格符、Tab)分隔

-s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。-s n:忽略前n个字符,从n+1个字符开始比较

-w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。-w n:只比较前n个字符,对每行第n个字符以后的内容不作对照

 -i, --ignore-case     在比较的时候不区分大小写

[输入文件] 指定已排序好的文本文件。如果不指定此项,则从标准读取数据;

[输出文件] 指定输出的文件。如果不指定此选项,则将内容显示到标准输出设备(显示终端)。

uniq 是对排序好的内容去重当重复的行并不相邻时,uniq 命令是不起作用的,所以需要先使用sort排序,在使用uniq去重

举栗:

原文件

默认去重

 

仅显示出现一次的行 -u
  1. e   bsd     1000    600 4M
  2. c   Debian  600     200 8K
  3. b   linux   1000    200 5K
  4. a   mac     2000    500 2K
  5. f   SUSE    4000    300 6M
  6. c   win7    2000    100 7G
  7. d   winxp   4000    300 3G
  8. d   winxp   500     300 3G
  9. g   winxp   500     300 3G
  10. g   winxp   500     300 3G
  11. G   WINXP   500     300 3G

uniq -c test_uniq.txt

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 1 d   winxp   4000    300 3G
  8. 1 d   winxp   500     300 3G
  9. 2 g   winxp   500     300 3G
  10. 1 G   WINXP   500     300 3G

uniq -u -c test_uniq.txt 

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 1 d   winxp   4000    300 3G
  8. 1 d   winxp   500     300 3G
  9. 1 G   WINXP   500     300 3G

不显示出现多次的行

仅显示重复出现的行 -d 比较的时候不区分大小写 -i

uniq -d -c test_uniq.txt 

  1. 2 g   winxp   500     300 3G

不显示只出现一次的行

uniq -i -c test_uniq.txt 

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 1 d   winxp   4000    300 3G
  8. 1 d   winxp   500     300 3G
  9. 3 g   winxp   500     300 3G

不区分大小写,所以有三行进行的合并

比较时忽略前n个字段,从n+1列开始比较 -f n比较时忽略前n个字符,从n+1个字符开始比较 -s n

uniq -c -f 3 test_uniq.txt

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 1 d   winxp   4000    300 3G
  8. 4 d   winxp   500     300 3G

 

源文件

注意空格符
  • a b 30 3G
  • a h 30  3G
  • a g  30 3G
  • a  ffff  30 3G
  • uniq -c -f 2 test.txt

 

  1. 1 a b 30 3G
  2. 1 a h 30  3G
  3. 2 a g  30 3G

忽略前2个字段时,前2个字段中的字符以及空格不同都不会有影响,但是第2个字段之后的空格与字符变化会影响去重效果

uniq -c -s 1 test_uniq.txt

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 1 d   winxp   4000    300 3G
  8. 3 d   winxp   500     300 3G
  9. 1 G   WINXP   500     300 3G

忽略前1个字符,

d   winxp   500     300 3G跟g   winxp   500     300 3G会被认为是一样的

只比较前n个字符,对每行第n个字符以后的内容不作对照 -w n 指定输出文件

uniq -c -w 1 test_uniq.txt

  1. 1 e   bsd     1000    600 4M
  2. 1 c   Debian  600     200 8K
  3. 1 b   linux   1000    200 5K
  4. 1 a   mac     2000    500 2K
  5. 1 f   SUSE    4000    300 6M
  6. 1 c   win7    2000    100 7G
  7. 2 d   winxp   4000    300 3G
  8. 2 g   winxp   500     300 3G
  9. 1 G   WINXP   500     300 3G

uniq -c test_uniq.txt  out.txt

cat out.txt 

  1.       1 e   bsd     1000    600 4M
  2.       1 c   Debian  600     200 8K
  3.       1 b   linux   1000    200 5K
  4.       1 a   mac     2000    500 2K
  5.       1 f   SUSE    4000    300 6M
  6.       1 c   win7    2000    100 7G
  7.       1 d   winxp   4000    300 3G
  8.       1 d   winxp   500     300 3G
  9.       2 g   winxp   500     300 3G
  10.       1 G   WINXP   500     300 3G

默认去重,将去重结果保存到out.txt

以上是关于linux sort uniq命令详解的主要内容,如果未能解决你的问题,请参考以下文章

linux sort,uniq,cut,wc命令详解

linux sort uniq cut wc命令详解

Linux下uniq命令的详解

sort,uniq,cut,wc命令详解

Linux last命令详解

Linux下命令sort, uniq