3 分钟学会调用 Apache Spark MLlib KMeans

Posted lcchuguo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了3 分钟学会调用 Apache Spark MLlib KMeans相关的知识,希望对你有一定的参考价值。

Apache Spark MLlib是Apache Spark体系中重要的一块拼图:提供了机器学习的模块。只是,眼下对此网上介绍的文章不是非常多。拿KMeans来说,网上有些文章提供了一些演示样例程序,而这些程序基本和Apache Spark 官网上的程序片断类似:在得到训练模型后,差点儿都没有展示怎样使用该模型、程序运行流程、结果展示以及举例測试数据等部分。

笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2 的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。


[A. 程序主要部分]

技术分享


[B. 測试数据]

技术分享

[C. 运行]

利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。

[D. 结果]

- Console 返回的结果(最后几行):

技术分享

- Yarn Web Console返回的运行结果:

技术分享

- Yarn Log 中显示 Scala 程序的Output:

技术分享

[E. 总结]

- 调用 Spark MLlib 库的过程并不复杂

- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測



















以上是关于3 分钟学会调用 Apache Spark MLlib KMeans的主要内容,如果未能解决你的问题,请参考以下文章

10个Scala基本语法,5分钟就能学会!

云栖大会 | Apache Spark 3.0 和 Koalas 最新进展

在 Apache Spark 中创建 DAG

3分钟,让你学会区分python中self与__init__?

调用 saveAsTable 时出现 org.apache.spark.sql.AnalysisException

转载Apache Spark Jobs 性能调优