如何在MapReduce作业中使用HBase二级索引表作为输入？

Posted 2021-04-20

我是HBase的新手，我有一个带有rowkey = id-YYYYMMDD的主表，一个带有rowkey = YYYYMMDD-id的二级索引表和一个带有主表中rowkey的列。我将在不久的将来拥有大约100万个ID，我将需要创建一个MapReduce作业来总结给定日期的ID（YYYYMMDD）。

如何将二级索引表传递给mapreduce作业，以便在主表中运行相应的“get（rowkey）”以获取列并对数据进行sumarize？

答案

你有2个选择：

1. 首先，在索引表上运行扫描。扫描将具有startRow和stopRow（例如'20190401'和'20190402'），因此它将扫描连续的密钥空间区域并从主表中收集ID。时间复杂度将为O（M），其中M是给定批次中的项目数。然后使用Get通过ID请求主表中的数据。
2. 由于您将日期作为主表键的一部分，您可以使用键过滤进行MapReduce扫描，该过滤将在O（N / P）中运行，其中N是表中的总行数，P是并行度您的群集。