你知道吗？常用的数据挖掘分析工具Mahout和MLlib

Posted 2020-09-28

传统的数据挖掘软件

专用挖掘工具、通用挖掘工具

–QUEST

–MineSet

–DBMiner

–Intelligent Miner

–SAS Enterprise Miner

–SPSS Modeler

大数据挖掘工具Mahout

Mahout 是Apache Software Foundation (ASF) 开发的一个开源项目

–目标是创建一些可伸缩的数据挖掘算法，供开发人员在Apache 在许可下免费使用。

–Mahout 包含许多实现，包括集群、分类、CF 和进化程序。

–此外，通过使用Apache Hadoop库，Mahout 可以有效地扩展到云中。

Mahout的意思是大象的饲养者及驱赶者。

–Mahout 这个名称来源于Hadoop徽标上的大象

–Mahout利用Hadoop来实现可伸缩性和容错性。

Mahout与Hadoop家族其他主要成员关系

大数据挖掘工具MLlib

MLlib是构建在Spark上的分布式数据挖掘工具，利用Spark的内存计算，和适合迭代型计算的优势，使性能大幅度提升。

同时Spark算子丰富的表现力，让大规模数据挖掘的算法开发不再复杂

MLlib作为Spark其中一部分，目前已经完全包含入Spark中。

数据挖掘框架(Spark MLlib)

MLlib是Spark对常用的数据挖掘算法的实现库，同时包括相关的测试和数据生成器：

MLlib目前支持多种常见的数据挖掘问题：

–二元分类、回归、聚类以及协同过滤，同时也包括一个底层的梯度下降优化基础算法。

本文出自 “中科院计算所培训” 博客，谢绝转载！