你知道吗?常用的数据挖掘分析工具Mahout和MLlib

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了你知道吗?常用的数据挖掘分析工具Mahout和MLlib相关的知识,希望对你有一定的参考价值。

传统的数据挖掘软件


专用挖掘工具、通用挖掘工具

–QUEST

–MineSet

–DBMiner

–Intelligent Miner

–SAS Enterprise Miner

–SPSS Modeler


大数据挖掘工具Mahout


Mahout 是Apache Software Foundation (ASF) 开发的一个开源项目

–目标是创建一些可伸缩的数据挖掘算法,供开发人员在Apache 在许可下免费使用。

–Mahout 包含许多实现,包括集群、分类、CF 和进化程序。

–此外,通过使用Apache Hadoop库,Mahout 可以有效地扩展到云中。

技术分享

Mahout的意思是大象的饲养者及驱赶者。

–Mahout 这个名称来源于Hadoop徽标上的大象

–Mahout利用Hadoop来实现可伸缩性和容错性。



Mahout与Hadoop家族其他主要成员关系

技术分享


大数据挖掘工具MLlib

MLlib是构建在Spark上的分布式数据挖掘工具,利用Spark的内存计算,和适合迭代型计算的优势,使性能大幅度提升。

同时Spark算子丰富的表现力,让大规模数据挖掘的算法开发不再复杂

MLlib作为Spark其中一部分,目前已经完全包含入Spark中。

技术分享


数据挖掘框架(Spark MLlib)

MLlib是Spark对常用的数据挖掘算法的实现库,同时包括相关的测试和数据生成器:

MLlib目前支持多种常见的数据挖掘问题:

–二元分类、回归、聚类以及协同过滤,同时也包括一个底层的梯度下降优化基础算法。


本文出自 “中科院计算所培训” 博客,谢绝转载!

以上是关于你知道吗?常用的数据挖掘分析工具Mahout和MLlib的主要内容,如果未能解决你的问题,请参考以下文章

关于举办“大数据分析和挖掘技术实战-Mahout/MLlib/Storm/Docker” 培训

下载基于大数据技术推荐系统实战教程(Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis)

你知道这些常用编程开发工具吗?

ML(4.1): CART在R中应用

Mahout 0.9 K-Means mapReduce 算法分析

数据挖掘---推荐算法(Mahout工具)