Linux json文件(排序去重)

Posted 2023-04-08

参考技术A 文件 test.log json文件数据

根据 data.ext.uid 字段排序

使用 jq 去重数据,并只显示 data.ext.uid 字段

多维度去重

linux文件行排序去重结果不同sort和uniq

对文件排序去重计算行数发现用两种方法得到的结果不一样
# sort users_with_tokens_expire20131001 |uniq -u|wc -l
8642
# sort -u users_with_tokens_expire20131001 |wc -l
8671
请问是什么导致的？

参考技术A 骚年，你有仔细观察者两个命令吗？
举个例子：
文件filea为：
a
b
c
c
d
b
执行sort filea |uniq -u |wc -l，先排序，则删除了c和b的行；
执行sort -u filea |wc -l，排序，同时删除相同的行，则只删除c行。 参考技术B uniq命令的帮助：
-u, --unique：only print unique lines

第一个方法中，你加上-u选项导致了uniq只输出唯一存在的行，有重复的行被过滤掉了
所以，问题出在你的地一种方法上

解决方法：uniq中不适用-u选项本回答被提问者采纳