mapreduce、hbase 和扫描
Posted
技术标签:
【中文标题】mapreduce、hbase 和扫描【英文标题】：mapreduce, hbase and scan 【发布时间】：2017-07-18 00:13:05 【问题描述】：我有一个扩展 TableMapper 类的 MapReduce 作业。我使用 TableMapperReduceUtil initTableMapperJob 来设置工作正常的初始扫描。根据从 Scan 中检索到的 rowkey，我想在我的 MapReduce Map 方法中的同一张表上运行 Get（使用作为初始 Scan 行中的值的 rowkey）。如何从 Map 方法中访问 Hbase 连接到同一个表？
【问题讨论】：
【参考方案1】：或许您可以通过这种方式创建新连接：
Configuration config = context.getConfiguration();
Connection conn = ConnectionFactory.createConnection(config);
但我认为在你的情况下使用Spark on HBase 会更容易
【讨论】：
以上是关于mapreduce、hbase 和扫描的主要内容，如果未能解决你的问题，请参考以下文章
通过 shell 命令和 mapreduce 扫描 HBase 会给出两种不同的结果
HBase mapreduce 作业 - 多次扫描 - 如何设置每次扫描的表