深度学习核心技术精讲100篇（五十一）-Spark平台下基于LDA的k-means算法实现

Posted 2021-06-30 文宇肃然

本文主要在Spark平台下实现一个机器学习应用，该应用主要涉及LDA主题模型以及K-means聚类。通过本文你可以了解到：

• 文本挖掘的基本流程

• LDA主题模型算法

• K-means算法

• Spark平台下LDA主题模型实现

• Spark平台下基于LDA的K-means算法实现

1.文本挖掘模块设计

1.1文本挖掘流程

文本分析是机器学习中的一个很宽泛的领域，并且在情感分析、聊天机器人、垃圾邮件检测、推荐系统以及自然语言处理等方面得到了广泛应用。

文本聚类是信息检索领域的一个重要概念，在文本挖掘领域有着广泛的应用。文本聚类能够自动地将文本数据集划分为不同的类簇，从而更好地组织文本信息，可以实现高效的知识导航与浏览。

本文选择主题模型LDA(Latent Dirichlet Allocation)算法对文档进行分类处理，选择在Spark平台上通过Spark MLlib实现LDA算法，其中Spark Mllib是Spark提供的机器学习库，该库提供了常用的机器学习算法。其基本设计思路如下图所示：

1.2文本挖掘流程分析

首先是数据源部分，主要的数据包括文档数据和互联网爬虫数据。然后是数据抽取