tar_ssh 配合提高小文件下载效率

Posted 2020-11-10 仓

scp传小文件时会由于每个文件确认等待，一方面等待确认时tcp窗口无法填满，另一方面文件传完之前也不会开始读下一个文件。而tar ssh配合则恰好解决该问题。当然大文件传输也不会有作用，甚至还会变慢。

#不带压缩
ssh ${username}@${ip} ‘(cd ${src_folder_path}&&tar -cf - ${src_folder_name} | cat)‘ | tar xfv - -C ${dst_path}
#带压缩
ssh ${username}@${ip} ‘(cd ${src_folder_path}&&tar -cf - ${src_folder_name} | cat | gzip -1)‘ | gzip -d | tar xfv - -C ${dst_path}