文本挖掘在电信行业的应用
Posted 上海联通大数据
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了文本挖掘在电信行业的应用相关的知识，希望对你有一定的参考价值。
文本挖掘是是信息挖掘的一个研究分支，用于基于文本信息的知识发现，它通过利用智能算法，如神经网络、HMM模型、TF-IDF算法等抽取散布在文本文件中的有价值的知识，来更好地组织信息，发现一些隐藏不可见的规律和结论。
运营商在量级和维度上都拥有着最丰富的数据资源，如记录用户属性、通信行为的B域数据，记录用户上网行为的O域数据，记录用户位置的信令数据等等，这些多是结构化的数据，是我们前期的主要研究对象，产生了诸如精准化营销、策略控制中心、流失用户预警等重要的应用，支撑公司进行科学性的决策。
除此以外，运营商其实还有很大一部分非结构化的数据，如何通过有效的方法挖掘这部分数据的价值，是目前的主要研究对象之一，尤其是文本数据，作为其重要组成部分，目前的文本挖掘技术，可以产生哪些重要的应用呢？
应用场景
运营商经常会收到一些来自用户的升级投诉，而这些投诉因为用户描述问题具体，往往字数会比较多（通常情况下200~300字/记录）。面对这样的投诉，传统运营商的做法是：
可以看到，这个流程是比较耗费人力资源的，需要有员工大量的阅读这些投诉文本，并进行分类。
而应用文本挖掘技术，流程图变为：
当然这前期需要一个长时间的训练过程，并辅之以人为干预，但是经过不断的迭代优化，一个成熟的训练模型可以大大提升工作效率。
同时，根据训练结果自动重新归类文本，也可以使业务数据得到有效沉淀，并结合分析、应用场景，给出用户投诉的风险度、可能的投诉原因及相关场景。实现智能预判提醒功能，指导我们对用户进行主动关怀，防患于未然，降低投诉率。
结合网络爬虫，实时抓取互联网上与“运营商”相关的舆论信息、新闻动态以及负面评价等，通过文本挖掘分析实现对舆论的实时监控，定义监控指标，在发出告警时能够及时锁定问题，快速做出响应。
目前人工智能领域语音识别正在不断发展完善，两者相互配合，在外呼营销以及客户语音投诉的场景中，通过实时的语音转文字，和文本信息处理，抓取客户关键信息，结合客户反应及营销效果，打造客户偏好标签，丰富人物画像，可以帮助后续模型的精准用户定位。
通过对用户售后评价文本的分析，了解在售商品的竞争力和优/劣势，结合情感分析等文本分析技术深度剖析客户反馈，辅助手网厅进行产品及营销策略的调整，为后期优化产品做支撑，形成良性循环，不断提高客户满意度。
实际案例
以最后一个应用为例，即使简单地运用文本挖掘中的关键词技术，也可以直观地得到一些肉眼所不可见的结果：
比如，我们用一个小爬虫程序获取了一款在售手机的负面评论数据,Python爬取数据代码如下：
在获取数据之后，我们想要了解差评客户主要不满意的点在哪里？于是，可以将得到的所有文本进行关键词的提取，先从整体上有所了解。
为了提高算法在电信行业的应用效果，我们梳理新增了运营商专业词典（目前已经扩展到上万词语），并丰富了停用词库，这可以帮助我们在提取关键信息的时候留下专业词汇并去掉一些没有实际意义的词语，便于抓取关键词信息，且在实际操作中验证发现，相较于目前广泛的通用词典，效果确实会有显著提升。具体Python代码：
最终生成如下的可视化词云，通过词云，我们可以大概感受到客户主要不满意的点在于：1、手机本身质量：电流杂音、屏幕以及摄像头问题；2、手机在客户购买之后的不久出现降价，致使客户产生心理落差；3、不满意于客服的服务态度等。
这样，知晓了客户不满意的点后，对于可控的因素，我们就可以在以后的活动中加强监控，制定优化策略，有意识的避免同种问题的出现。
以上是关于文本挖掘在电信行业的应用的主要内容，如果未能解决你的问题，请参考以下文章