使用awk按照行数切割文件

Posted 三更_雨

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用awk按照行数切割文件相关的知识,希望对你有一定的参考价值。

 

最近在做一个事情,需要将一个文本文件按照行数进行切割,然后用了,awk的方法,感觉很好用, 记录一下。

脚本如下:

 

#!/bin/bash
## 文件效果: 根据行数来切割文件
## 参数1为要切割的文件名
## 参数2为每个切割后文件的行数

filename=$1
fileline=$2

echo "filename=$filename"
echo "fileline=$fileline"

awk -v count=$fileline BEGIN{i=0} {  print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} } $filename

echo "=====finish====="

 

简单解释一下, 比较重要的就是那一行awk

-v count=$fileline  , -v 用来将变量传入

BEGIN中用来初始化一个变量 i,  用来记录是否需要进行换文件, 之后将每一行输入到对应的文件中,

直到  NR>=(i+1)*count , 相当于一个文件已经写完了, 需要写入下一个文件。

这里需要做两件事情,先关闭之前写的文件, 如果不关闭, 会报错 awk: xxx makes too many open files , 这个表示awk 打开的文件太多了。 

然后将计数器加1, 这样就可以写入下一个文件了。

 

运行效果,就是将 filename 切割成  filename_0 , filename_1, filename_2 等多个文件, 每个文件都是 fileline 行, 最后一个文件,就是剩下的行数。

 


 

 

可以很简单的得到下面这个变种, 就是 根据想要切割的文件数量来进行按照行数切割。

 

#!/bin/bash
## 根据文件数来切割
## 参数1为要切割的文件名
## 参数2为期望得到的文件数

filename=$1
filenum=$2
# 计算每个文件的行数
fileline=$(( `cat $filename | wc -l ` / $filenum + 1 )) echo "filename=$filename" echo "filenum=$filenum" awk -v count=$fileline BEGIN{i=0} { print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} } $filename echo "=====finish====="

 

以上是关于使用awk按照行数切割文件的主要内容,如果未能解决你的问题,请参考以下文章

awk简介(使用方法)

Linux下使用split按行数进行切割

Linux split命令

每天学点Linux-切割命令split

linux切割文件

awk依照多个分隔符进行切割