如何在以伪分布式模式安装的Hadoop中运行Nutch

Posted 2021-04-10

我在我的Ubuntu上安装了Nutch 1.13。我可以在独立模式下运行爬网。它成功运行并产生了预期的结果，但我不知道如何在hadoop中运行它？我在伪分布式模式下安装了Hadoop，我想用Hadoop运行Nutch爬行并监视它。我该怎么做？有很多教程可以在独立模式下运行它，但我找不到任何关于如何在Hadoop中运行它的明确说明，除了我用ant构建它之后我必须使用“Nutch Job”。

谢谢你的帮助。

答案

确保你已经从源代码构建了Nutch，即不要使用仅在本地模式下工作的二进制版本。一旦你编译了

蚂蚁干净的运行

转到runtime / deploy / bin并像往常一样运行脚本。

注意，您需要在重新编译之前修改conf文件。