Apache Hadoop与Gora的组合功能

Posted 2021-03-27

我有一个简单的Hadoop，Nutch 2.x，Hbase集群。我必须写一份MR工作，找到一些统计数据。这是两步工作，即我认为我也需要合并器功能。在简单的Hadoop工作中，它不是一个大问题，因为很多指南都给出了例如this one。但我找不到任何选择与Gora一起使用合并器。我的统计数据将被添加到Hbase中的页面，这就是为什么我不能关于Gora（我认为）。以下是我希望添加com的代码片段

GoraMapper.initMapperJob(job, query, pageStore, Text.class, WebPage.class,
        My_Mapper.class, null, true);


    job.setNumReduceTasks(1);

    // === Reduce ===
    DataStore<String, WebPage> hostStore = StorageUtils.createWebStore(
        job.getConfiguration(), String.class, WebPage.class);
    GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);

答案

我从来没有和Gora一起使用过这个组合器，但这有用吗（或它显示的是什么错误）？：

GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);
job.setCombinerClass(My_Reducer.class);

---

编辑：在Apache's Jira about the Combiner创建了一个问题。