将数据从蜂巢中取出并输入 mysql @ AWS？
Posted
技术标签:
【中文标题】将数据从蜂巢中取出并输入 mysql @ AWS？【英文标题】：getting data out of hive and into mysql @ AWS? 【发布时间】：2011-11-23 14:58:54 【问题描述】：我很想使用 Sqoop，但不认为仅仅为此而在 ElasticMapReduce（我非常喜欢）上运行 Cloudera 堆栈@AWS 是值得的。
我目前的想法只是将我需要的数据写入到@S3的外部表中，然后编写脚本将其导入mysql。亚马逊有一些 SimpleDB (example) 的东西，但我也不确定那条路线？对 S3 中的数据很好，只是想知道是否有人有更好的主意。
谢谢！
【问题讨论】：
【参考方案1】：我使用的最简单的解决方案，效果很好：
-
正如您建议的那样，将数据放入 S3 存储桶。您可以创建一个托管在 S3 上并具有例如的表。制表符分隔的格式。如果您在最后一步中使用一个 reducer，您最终将只得到一个文件。
下载数据到你的 MySQL 服务器，我最喜欢的工具是s3cmd
使用 LOAD DATA INFILE 将数据直接导入 MySQL...
【讨论】：
以上是关于将数据从蜂巢中取出并输入 mysql @ AWS？的主要内容，如果未能解决你的问题，请参考以下文章