使用awk按照行数切割文件

Posted 2020-10-05 三更_雨

 

最近在做一个事情，需要将一个文本文件按照行数进行切割，然后用了，awk的方法，感觉很好用， 记录一下。

脚本如下:

 

#!/bin/bash
## 文件效果: 根据行数来切割文件
## 参数1为要切割的文件名
## 参数2为每个切割后文件的行数

filename=$1
fileline=$2

echo "filename=$filename"
echo "fileline=$fileline"

awk -v count=$fileline ‘BEGIN{i=0} {  print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} }‘ $filename

echo "=====finish====="

 

简单解释一下， 比较重要的就是那一行awk

-v count=$fileline  ， -v 用来将变量传入

BEGIN中用来初始化一个变量 i，  用来记录是否需要进行换文件， 之后将每一行输入到对应的文件中，

直到  NR>=(i+1)*count ， 相当于一个文件已经写完了， 需要写入下一个文件。

这里需要做两件事情，先关闭之前写的文件， 如果不关闭， 会报错 awk: xxx makes too many open files ， 这个表示awk 打开的文件太多了。 

然后将计数器加1， 这样就可以写入下一个文件了。

 

运行效果，就是将 filename 切割成  filename_0 , filename_1, filename_2 等多个文件， 每个文件都是 fileline 行， 最后一个文件，就是剩下的行数。

 

---

 

 

可以很简单的得到下面这个变种， 就是 根据想要切割的文件数量来进行按照行数切割。

 

#!/bin/bash
## 根据文件数来切割
## 参数1为要切割的文件名
## 参数2为期望得到的文件数

filename=$1
filenum=$2
# 计算每个文件的行数

fileline=$(( `cat $filename | wc -l ` / $filenum + 1 ))

echo "filename=$filename"
echo "filenum=$filenum"

awk -v count=$fileline ‘BEGIN{i=0} {  print $0 > sprintf("%s_%d",FILENAME,i) ; if (NR>=(i+1)*count) { close(sprintf("%s_%d",FILENAME,i)); i++;} }‘ $filename

echo "=====finish====="