快速生成大量随机大小的文件

Posted f-ck-need-u

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了快速生成大量随机大小的文件相关的知识,希望对你有一定的参考价值。

要生成大量随机大小的文件,最简单的方法是for循环N次。

例如,生成100W个0-16K大小的小文件(尝试时请改小一点数量,不然时间要很久):

tmp_dir=/tmp/temp

for i in {1..1000000};do
    dd if=/dev/zero of=$tmp_dir/${i}.log bs=`shuf -n 1 -i 0-16`k count=1 &>/dev/null
done

这里使用dd命令从/dev/zero中取数据填充小文件,其中tmp_dir变量是存放大量小文件的目录,文件的随机大小由shuf命令生成。

但是这样会非常的慢,不仅占用大量IO,操作系统还繁忙地open、close文件描述符。这样的创建方式效率极低。

为了不频繁open、close文件描述符,可以直接将创建的文件放进压缩包中,比如cpio、tar(但不要加数据压缩功能,如zip、xz等,因为压缩会占用大量cpu进行计算),等给定数量的文件创建完后再解压这个压缩包。这种方式在shell中实现起来比较复杂。

更好的方式是使用split命令,它可以将文件按给定大小均匀切分成小文件。这里可以使用/dev/zero作为数据源。

因为split只能切分成等大小的文件,所以大小无法随机,只能在一定数量的循环下,多次切分成等随机大小的文件。正如下面的for和shuf。

tmp_dir=/tmp/temp

for i in {1..100};do
    dd bs=10000 count=8192 if=/dev/zero |    split -b `shuf -n 1 -i 1-16`k -a 5 -d - "$tmp_dir/$i-"
done

每次循环中,dd每次生成8192*10000=8.2M的数据源,这8.2M的数据供split进行分割,分隔的每个文件都由shuf确定,比如某次shuf的值为5,那么8.2M的数据全部切分成5k大小的文件共16000个小文件。这样的操作循环100次。

这样的方式非常快,但是只循环了100次,shuf的随机数分配不够均匀,所以无法控制文件的数量,比如上面的命令可能会生成200W个文件,如果运气差可能生成400W个文件。

改成下面的,循环次数增加一些,每次数据源大小小一点:

for i in {1..10000};do
    dd bs=100 count=8192 if=/dev/zero |    split -b `shuf -n 1 -i 1-16`k -a 3 -d - "$i-"
done

生成100W个文件大概需要5分钟(普通固态下)。同样的,文件数量不可控制。

以上是关于快速生成大量随机大小的文件的主要内容,如果未能解决你的问题,请参考以下文章

前端开发工具vscode如何快速生成代码片段

VS Code配置snippets代码片段快速生成html模板,提高前端编写效率

Python 脚本生成测试数据,Python生成随机数据,Python生成大量数据保存到文件夹中

Random快速产生相同随机数的原因及解决方案

生成随机字符串序列的快速方法

python 生成随机ASCII字符和数字的连续流。有用的快速生成随机文件。