我想利用awk调取特定行数

Posted 2023-05-03

你好，我有一个五百万行的文件，想每一千行调取一行，
awk 'BEGINfor(i=1;i<=NR;i=i+3) NR==iprint' 1.2.txt
帮忙修改一下，万分感谢！

参考技术A awk 'NR%1000==0' file.txt
awk 'NR%1000==1' file.txt来自：求助得到的回答 参考技术A line=`awk 'NR==10print' yourfile`echo "$line"追问

这个只是提取第十行的吧？

利用awk命令进行统计

现在有一个文件，文件里有N行，认为每行是一条记录的话，每条记录里都会有个关键字keywords=，我想取出keywords后的value(长字符串)，这些value以&结束。
最后统计各value出现的次数。
请问这个怎么弄啊？？用awk
如：

http://r.union.meituan.com/cps/bdt?url=http://bj.meituan.com/deal/9577241.html&tn=baidutuan_tg&baiduid=4acfbbf10ce8b20c63431ef54144209e
我想对关键字
url取值http://bj.meituan.com/deal/9577241.html
tn取值baidutuan_tg
baiduid取值4acfbbf10ce8b20c63431ef54144209e
然后放在同一个文件，成下列效果。
http://bj.meituan.com/deal/9577241.html　　baidutuan_tg　　4acfbbf10ce8b20c63431ef54144209e

多谢关注

怪我没说清楚，比如现在有两条记录
http://r.union.meituan.com/cps/bdt?url=http://bj.meituan.com/deal/9577241.html&tn=baidutuan_tg&baiduid=4acfbbf10ce8b20c63431ef54144209e
http://r.union.meituan.com/cps/bdt?url=http://bj.meituan.com/deal/9577241.html&ignore=woshihanzi&tn=baidutuan_tg&baiduid=4acfbbf10ce8b20c63431ef54144209e
又怎么样处理？我想问的是怎么匹配到给定字符串key后的值value，并且已知其格式为key=value&

没注意你baidutuan_tg 和url是一行，把第一个\\n 换成逗号,就行了。

awk -F\'[=|&amp;amp;]\' \'print $2"\\n"$4"\\n"$6\' file

追问

字符太多这里贴不上，请看问题补充。

追答

sed \'s/.*url=\\(.*\\)&.*tn=\\(.*\\)&.*baiduid=\\(.*\\)/\\1\\ \\2\\n\\3/\' file

是这样吗？

参考技术A 把你的实际文本贴出来看看
[csy@db1 ~]$ cat 1.txt | awk -F"=" 'print $2,$3,$4'| sed 's/&tn//g' | sed 's/&baiduid//'
http://bj.meituan.com/deal/9577241.htmlbaidutuan_tg 4acfbbf10ce8b20c63431ef54144209e

[csy@db1 ~]$ sed 's/&[a-z]*=/=/g' 1.txt| awk -F"=" 'print $2,$3,$4,$5'
http://bj.meituan.com/deal/9577241.htmlbaidutuan_tg 4acfbbf10ce8b20c63431ef54144209e
http://bj.meituan.com/deal/9577241.htmlwoshihanzi baidutuan_tg 4acfbbf10ce8b20c63431ef54144209e
需要提前知道每行中key的最大个数