split文件切片

Posted keystone

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了split文件切片相关的知识,希望对你有一定的参考价值。

文件上传下载过程中经常会遇到网络不稳定,或者传输软件限制传输的文件大小之类的问题.在当今换没有出现很好的软件的时候,一个available方法是将大文件切片,也就是

切成小文件,然后通过其他方法put/get.

 

linux中的切片使用的是splie命令.

技术图片

 

常用方法:

split      -b     200m(小片的大小上限)      file_name(要切的文件)    file_name_(切分的小片的前缀,后缀是命令自定义的,改不了,一般是[a-z]2结尾)


注意:
1.不带-b,导致默认只有250K左右的小片大量产生
2.不带前缀也可,就是不好识别,no human-readable


合并命令
cat file_name_* > file_name

总的来说,这种切片的方法只是救急的方法,不是必须的.只是特殊情况下的无奈之举.最后忘了提醒大家一句,合并后,一定要检查文件的MD5值,检查文件是否一致.


以上是关于split文件切片的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop 切片机制

12306 城市代码 切片技巧

你知道的Go切片扩容机制可能是错的

java Ftp上传创建多层文件的代码片段

mapreduce输入数据为helloworldbyword的切片处理结果

使用ffmpeg视频切片并加密