机器学习在电商文本挖掘中的应用浅析

Posted 2021-04-16 京东大数据

电商平台中有海量的非结构化文本数据，如商品描述、用户评论、用户搜索词、用户咨询等。这些文本数据不仅反映了产品特性，也蕴含了用户的需求以及使用反馈。通过深度挖掘，可以精细化定位产品与服务的不足。下面描述了电商平台下机器学习在文本挖掘的应用例子。

1

用户评论分类

场景

用户评论能反映出用户对商品、服务的关注点和不满意点。评论从情感分析上可以分为正面与负面。细粒度上也可以将负面评论按照业务环节进行分类，便于定位哪个环节需要不断优化。

机器学习模型

主题聚类、词向量计算。传统的机器学习分类模型在评论分类上的精度表现一般，但基于语义的角度进行分类可以有效提高精度。即便如此，在语义类别描述的特征挖掘时，机器学习中的主题聚类、词向量挖掘技术也不可或缺。

2

搜索词的需求识别

场景

用户搜索行为是电商平台上用户购物的常用入口，是用户需求的强体现。将用户搜索词分别归一到具体的品类需求，这是对搜索词的需求分类。

机器学习模型

基于用户点击模型和文本语义关联的模型，在整个过程中应用到回归预测、文本分类等。

3

商品标签挖掘

场景

通常电商平台需要对商品的功能或风格加上直观的标签，便于用户查找。那么如何从海量的商品描述去挖掘标签并给商品打上合适的标签呢。

机器学习模型

聚类与分类技术能大幅减轻人工上的操作。先对商品描述文本预处理，然后进行标签主题聚类，找出标签主题的词分布概率作为特征库。再根据主题标签对应的词分布概率，利用机器学习分类模型去预测商品所属的标签。

4

商品咨询挖掘

场景

商品咨询可以体现用户对商品的需求点，有利于需求与服务精确定位。

机器学习模型

不管是咨询语料的特征词库挖掘，还是咨询短文本的意图识别，始终要以机器学习与自然语言处理技术作为基础。

另外，深度学习作为机器学习中的热门分支，不仅在图像和语音上有卓越的表现，在自然语言处理上也有应用亮点。

以用户的负面评论分类为例，浅析深度学习在自然语言处理上的应用。电商平台上，用户的负面评论的是千千万万细微而散落的点，但我们要将这些点聚集成若干个团，这是一个聚类问题。聚类处理后的点与团，如何直观的展示出来，这是个数据可视化问题。

如图所示，我们抽取负面评论中与业务环节相关的语料进行训练，用WORD2VECTOR生成词向量，再通过PCA降维，将高维词向量低维化，然后将词在二维图上展示出来。可以直观的看出物流、售后、促销环节是关注点。