使用 map reduce 将数据从大型 csv 文件加载到 sql server

Posted 2023-03-16

【中文标题】使用 map reduce 将数据从大型 csv 文件加载到 sql server

【英文标题】：Loading data from a large csv file to the sql server using map reduce

【发布时间】：2017-09-05 00:16:16

【问题描述】：

我对 hadoop 很天真，我想使用映射器和减速器将 csv 数据加载到我的本地 sql 服务器中。有可能吗？如果是这样，我该怎么做？谁能解释一下要遵循的步骤或指导我阅读一篇逐步解释它的文章。

我相信如果可以单独使用 mapper 就足以完成这项工作。如果我错了，谁能纠正我。

任何帮助将不胜感激。在此先感谢

【问题讨论】：

我猜你可以使用“Sqoop”

【参考方案1】：

无需使用长 Map reduce 程序将数据从本地加载到 SQL，您只需使用 Apache Sqoop 中的导出命令即可，语法如下：

sqoop -export --connect jdbc:mysql://localhost/db --username root --password --table --export-dir