如何在 Hadoop Mapreduce 程序中使用机器学习算法？

Posted 2023-03-13

【中文标题】如何在 Hadoop Mapreduce 程序中使用机器学习算法？

【英文标题】：How do i use machine learning algorithms in Hadoop Mapreduce program?

【发布时间】：2015-11-27 10:42:30

【问题描述】：

如何在Hadoop Map-reduce 程序中使用机器学习算法？ 我想使用分类算法、决策树、聚类算法。 除了 Mahout，请提出一些想法。

【参考方案1】：

您可以编写自己的 MapReduce 程序，并在 mapper 和 reducer 中调用第三方机器学习算法。有几个开源机器学习库可用，如 Weka、open nlp、ctakes、mallet、uima 等...

另一种最佳方法是在 Hadoop 之上使用 Spark ML lib 或 H2O、Oryix。

另一种解决方案：使用 PMML 和 JPMML 将 R、Weka、SAS 等机器学习工具与 Hadoop 集成。 您可以使用任何一种工具（R、SAS、Weka）开发模型，并在 JPMML 的帮助下在 MapReduce 程序中使用该模型。