linux 文件内容查找去重统计

Posted 2020-12-16 马骝仔会上树

cat filename | awk ‘{print $1}‘ | sort | uniq

cat filename读取一个文件

awk ‘{print $1}‘ 以默认字符分割文件每一行内容，取第一个数据

sort 对内容进行正序排序    sort -r 倒序  -n 依照数值的大小排序

uniq 对内容进行去重  /   uniq -c 统计重复次数

cat filename | awk ‘{print $1}‘ | sort | uniq -c | sort -nr ( 去重文件中重复内容，并且按照重复次数进行倒序)

cat test1.txt | awk ‘{print $1}‘ | grep -E "^4" | sort | uniq -c | sort -nr

grep -E 正则表达式，利用正则表达式过滤结果

cat test1.txt | awk ‘{print $1}‘ | sort | uniq -c | sort -r | head -n 3

head -n 3 显示前3行(从第一行开始)

tail -n 3 显示后3行（从最末行开始）