shell脚本,awk 根据文件某列去重并且统计该列频次。
Posted 王月波
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了shell脚本,awk 根据文件某列去重并且统计该列频次。相关的知识,希望对你有一定的参考价值。
a文件为 1 a 2 a 3 a 4 s 5 s 6 d 1.怎么把a文件变为 1 a 3 4 s 2 6 d 1 2.怎么把a文件变为 1 a 3 2 a 3 3 a 3 4 s 2 5 s 2 6 d 1
解题方法如下:
解题思路
[root@localhost study]# awk \'NR==FNR{a[$2]++}NR!=FNR&&++b[$2]==1{print $1,$2,a[$2]}\' a a
1 a 3
4 s 2
6 d 1
NR=FNR处理第一个文件a-----> {a[$2]++}
a[$2]++相当于a[$2]=a[$2]+1
a[a]=a[a]+1=0+1=1
a[a]=a[a]+1=1+1=2
a[a]=a[a]+1=2+1=3
a[s]=a[s]+1=0+1=1
a[s]=a[s]+1=1+1=2
a[d]=a[d]+1=0+1=1
这里只取值,不输出
NR!=FNR&&++b[$2]==1{print $1,$2,a[$2]}
当NR!=FNR处理第二个文件 a
++b[$2]==1 ++b表示先自增,后赋值。就是第二列是重复的值,执行一次
第一行b[a]=0 ++b[a]---->结果b[a]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=1,$2=a,a[$2]=a[a]=3 (1 a 3)
第二行b[a]=1 ++b[a]----->结果b[a]=2,然后在判断是否等于1,此时不等于1,后面不执行
第三行b[a]=2 ++b[a]---->结果b[a]=3,然后在判断是否等于1,此时不等于1,后面不执行
第四行b[s]=0 ++b[s]----->结果b[s]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=4,$2=s,a[$2]=a[s]=2 (4 s 2)
第五行b[s]=1 ++b[s]----->结果b[s]=2,然后在判断是否等于1,此时不等于1,后面不执行
第六行b[d]=0 ++b[d]----->结果b[d]=1,然后在判断是否等于1,等于1条件成立,执行后面的结果
输出 print $1,$2,a[$2]------>$1=6,$2=d,a[$2]=a[d]=1 (6 d 1)
所以得到结果如下:
1 a 3
4 s 2
6 d 1
以上是关于shell脚本,awk 根据文件某列去重并且统计该列频次。的主要内容,如果未能解决你的问题,请参考以下文章