大数据迁移
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据迁移相关的知识，希望对你有一定的参考价值。
由于服务器调整，需要把服务器A上面约2T的数据库表空间文件迁移到同网段的另一台服务器B。
具体来说，就是N个32G的表空间文件（注意，是单个文件32G）
局域网传输文件的工具很多，但是没想到的是，一旦处理起这么大的文件，基本全部歇菜。。
先试了FeiQ，传输速度是很快，1000M网卡下速度可以达到90M/s，但是，文件传输到5280M的时刻就出错了，试了N次也不行。
然后在服务器B上架上FTP服务，在A上面用FTP软件往上上传，但是FTP软件看到这么大的单文件也歇菜了，连文件大小都显示成了负的。。。
最后只能想到一招，FastCopy了。
也就是，在服务器B上将目地文件夹共享，然后在服务器A中将其映射为一个网络驱动器，再使用FastCopy进行拷贝就可以了。
最终按此办法测试成功，2T的数据花了将近一天的时间终于拷贝完成。
看来还是FastCopy靠谱啊。
而且，据以往的经验，拷贝单个超过10G左右的文件，系统在处理时就会报错，具体表现就是拷贝进行一段后报告内存不足什么的。
这就只能使用FastCopy了。当然，类似的软件不止这一款，不过据权威测评，FastCopy的表现是最好的，而且它是免费的！！！
强烈推荐~ 以上~~
以上是关于大数据迁移的主要内容，如果未能解决你的问题，请参考以下文章