hadoop：sqoop——为啥jdbc代码是用reducers写的？
Posted
技术标签:
【中文标题】hadoop：sqoop——为啥jdbc代码是用reducers写的？【英文标题】：hadoop: sqoop- why jdbc code is written in reducers?hadoop：sqoop——为什么jdbc代码是用reducers写的？ 【发布时间】：2014-08-05 20:40:19 【问题描述】：我是 hadoop 及其生态系统的新手。 Sqoop：从/向 hdfs - RDBMS 导入/导出数据。 Sqoop 兼容 JDBC 相关数据库。
为什么在从/到 hdfs - RDBMS 导入和导出数据时，所有 jdbc 代码都是用 reducer 而不是 mapper 编写的？有人说要避免 Ddos（分布式拒绝服务）。
【问题讨论】：
【参考方案1】：Sqoop 中没有 reducer。Sqoop 只需要映射器进行导入和导出。为了将数据从 RDBMS 导入 Hadoop，Sqoop 具有使用 JDBC 从数据库中获取数据的输入格式。同样，sqoop 具有用于写入数据的输出格式将数据从 Hadoop 导出到 RDBMS
【讨论】：
以上是关于hadoop：sqoop——为啥jdbc代码是用reducers写的？的主要内容，如果未能解决你的问题，请参考以下文章
为啥这个 sqoop 命令会抛出异常？无法找到或加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster