使用rsync -arLP进行断点续传

Posted 2023-03-09

参考技术A

在不同节点进行数据传输的时候，如果数据文件大小数目比较大的话使用scp经常会传到一半给断掉。
这里我改成了rsync进行断点续传，不过这种方法也会有时候断掉。所以我这里补充了一个使用while循环的操作，即如果断掉了，那就接着来，循环指定次数，直到全部跑完。不过这种方式也有不足之处，有时候全部传完了也会继续跑。但是也无伤大雅，只要全部传完就可以啦~

直接放脚本 scp.sh ，如下：

运行很简单，如下

要注意，上传文件夹不能有 / 在最后面，如果有的话会直接上传文件夹里面的内容，而不是整个文件夹！！！

最后会在本地跑的路径下面生成一个copy.log的日志文件，记录了上传的数据日志

如果不想要这个日志，可以在脚本里面设置 rsync -arP 为 rsync -arp 。具体的参数解释如下（参考： http://www.ruanyifeng.com/blog/2020/08/rsync.html ）

如果跑完了会在在文件夹中出现了如下信息：

最后，大功告成！如果设置的次数还没有传完，则再继续提交即可，会接着上传。