Linux sort -g 的困惑

Posted 2020-08-06 HenRy

sort命令是帮我们依据不同的数据类型进行排序,排序的效率很高，因此也是很常用的命令。

sort参考及说明：https://www.gnu.org/software/coreutils/manual/html_node/sort-invocation.html

本文主要讨论在排序时使用g所产生的困惑。

在对一个文件进行排序，我们经常会根据文件中的几列依次来排序。

20160722 817657 EUR EUR.L LIBOR M 6 1.53399856212991e-006
20160722 817657 EUR EUR.L LIBOR M 9 1.73682111461871e-006
20160722 817657 USD USD.L BASISOIS M 24 -1.23799103559608e-010
20160722 817657 USD USD.L BASISOIS M 36 -1.61320184994397e-010

对以上的数据进行排序时，我们用到了这样的一个sort command:  sort -t $‘\t‘ -k 2,2g -k 3,3g -k 4,4 -k 5,5 -k 6,6 -k 7,7 -f

至于为什么用g，在数据列中也能看到排序科学记数法（e）的时候使用n排序是不准确的，一般来说n,g排序非数字也没有问题，出于通用性考虑要排序的一般字符都使用的g。

根据sort key，按照一个tab分隔列，按照g排序2,3列，其他的默认排序，那么预期结果因该是：

20160722 817657 EUR EUR.L LIBOR M 6 1.53399856212991e-006
20160722 817657 EUR EUR.L LIBOR M 9 1.73682111461871e-006
20160722 817657 USD USD.L BASISOIS M 24 -1.23799103559608e-010
20160722 817657 USD USD.L BASISOIS M 36 -1.61320184994397e-010

然而结果却是：

20160722 817657 USD USD.L BASISOIS M 24 -1.23799103559608e-010
20160722 817657 USD USD.L BASISOIS M 36 -1.61320184994397e-010

20160722 817657 EUR EUR.L LIBOR M 6 1.53399856212991e-006
20160722 817657 EUR EUR.L LIBOR M 9 1.73682111461871e-006

这是为什么呢，在google上找了很久也没有找到类似的问题，在stackoverflow上有经验的人试了试我的这个sortkey去排序，有人排序是正常的。

我尝试用n和默认排序也是正常的，唯独用g出现的不是预想的结果。为了排除其他因素，去掉了所有不影响的因素。

我们对下面的这些数据来进行排序：

ABC
EUR
USD
0
0.000
0.000000000001
0.1
0.0000000000000000000000000000000000000000000000000000
EW

使用sortkey: sort -k 1,1g -f

ABC
USD
0
0.000
0.0000000000000000000000000000000000000000000000000000
EUR
EW
0.000000000001
0.1

这个显然不是我们预期的，我们再使用sortkey: sort -k 1,1 -f

0
0.000
0.0000000000000000000000000000000000000000000000000000
0.000000000001
0.1
ABC
EUR
EW
USD

这个最起码E不会出现在中间，再假如我们使用sortkey:sort -k 1,1n -f

0
0.000
0.0000000000000000000000000000000000000000000000000000
ABC
EUR
EW
USD
0.000000000001
0.1

我们怎么才能让g也能排出字母不会被当成数字呢，我们可以使用：LC_ALL=C sort -k 1,1g -f

ABC
EUR
EW
USD
0
0.000
0.0000000000000000000000000000000000000000000000000000
0.000000000001
0.1

首先，为什么现在g可以正常排序了而不是把e开头的当成0了，这是因为LC_ALL=C 覆盖掉了本地环境设置,排序都按照ascii码来排序，默认应该是LC_ALL=en_US.UTF，也可以单独设置各个LC。

但是接着问题就来了，用LC_ALL=C来排序的话，-f就会失效，因为按照ascii码 小写字母是排在大写字母后面的，这就产生了冲突。

因此可以先执行LC_ALL=C,然后再进行排序。

LC_ALL=en_US.UTF sort -k 1,1g -f 也可以正常的排序了。

这方面还需要多学习，再去找到一些其他方面的问题和主要的问题产生的源头。

有更好的资料请告诉我,关于sort.