趋势嗅探，舆情分析，自然语言处理助力互联网指数的发展应用

Posted 2021-04-12 机器之能

随着计算机硬件及互联网络设施的普及，各种技术在互联网上的应用层出不穷，并逐渐呈现出多样化和个性化的特点。在信息大爆炸的时代下，由数据信息驱动的互联网指数，正在密切的反应这人们的日常生活，同时影响这人们的决策和判断。近年来，深度学习算法将人工智能推向了一个新的时代，其中自然语言处理技术被广泛应用于网络指数领域当中。其中包括网络新词的挖掘于网络热词的排序，基于文本长短句子的舆论和情感偏向分析，以及各大社交媒体平台的话题与检索趋势。这些应用能够帮助相关企业和个人更好的理解社会群众感兴趣的话题和事件，并统计话题和事件的发展趋势，从而帮助企业和个人作出有效的判断以及相关的推荐服务。

作者 | 单赢、田辰

 一  

互联网指数市场现状

随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。预计，到2025年，人们在互联网上生产到数据将达到175ZB，全球将有49%的储存数据将驻留在公共云环境中（IDC datesphere growth）。这意味着，互联网指数的使用价值与应用空间将会变得越来越大，而全球大数据产业的市场规模也将在2022年达到952亿美元的规模。

 二  

互联网指数相关的核心技术

深度学习： 通过深度学习算法，主要是循环神经网络和长短期记忆网络模型对海量互联网数据进行计算和分析，主要数据来源包括搜索引擎，社交网络，电商平台，新闻阅读等场景。分析结果将系统化的勾勒出用户的使用偏好，用户的偏好大致可以分为长期和短期两类。

自然语言理解： 互联网指数的应用高度依赖于自然语言理解技术。其中词性标注和命名实体识别能够有效的描绘出网络关键词与热词。长短句形的句法分析不仅能够在海量文本数据当中提炼出话题与意图信息，还可以计算出信息当中所表达的情绪，以实现舆情分析。此外，文本聚类与分类的准确性直接映射出互联网指数所提供信息内容与趋势分析的可靠性。

信息检索： 用户进行信息查询和获取的主要方式，是查找信息的方法和手段。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。从数据集合中找到满足信息需求的非结构化性质的内容，结合知识图谱实识别出互联网检索内容的标签，以及内容和内容之间的关联。

 三  

自然语言处理在互联网指数领域的应用分布

 四  

自然语言处理在互联网指数领域的应用案例

百度 - 百度指数： 百度指数是基于百度搜索引擎数据检索实现的海量数据分析服务。结合深度学习，实体识别，词性标注等技术，通过关键词识别和统计的方式整合和分析一段时间内的“用户关注度”和“媒体关注度”。其功能包括单个词的趋势研究，需求图谱，舆情管家，人群画像。基于行业的整体趋势，人群属性，地域分布等条件，帮助个人和企业提供有效的商业营销决策辅助服务。

谷歌 - 谷歌趋势： 谷歌趋势的数据主要来自谷歌搜索，谷歌购物，youtube，谷歌新闻以及谷歌图片。通过记录广大网民在互联网上的制造的数据，结合深度学习算法，和自然语言理解技术，将海量文本类信息数据进行时间，地域以及热门关注度的统计和整理，以趋势图和热力图的形式将微观的数据集合起来以宏观的可视化的方式展现，帮助人们对世界上各种事物的发展趋势进行预测。

蚂蚁金服 - 智能舆情平台： 蚂蚁金服推出的智能舆情平台基于阿里云的数据与算了，能够识别并精准抽取实体和事件。利用人工智能和大数据技术分析十万级站点覆盖，千万级日更新量，和分钟级的更新频率，从而构建产品核心竞争力。其核心功能包括，金融舆情检索，舆情画像，企业知识图谱，以及可以与其他服务对接的API服务。智能舆情平台可以根据业务需要自定义数据源、监控和跟踪实体以及各类事件，针对金融风险事件管控、负面舆情监控等场景，支持识别与抽取。

字节跳动 - 头条指数： 今日头条热度指数基于深度学习模型和自然语言理解技术，将用户的阅读、分享、评论等行为的数量加权求和得出相应的事件、文章或关键词的热度值。头条指数的关键词的分析结果还包括基于知识图谱构建的内容关联分析与相关内容的拓展。人们可以通过头条指数提供的数据，来判断某个事件或话题在今日头条的热度，从而判断事件的影响力。

 五  

互联网指数应用的局限性

随着技术的不断发展和数据的持续爆炸，基于互联网指数而实现的公开的工具将深入到每个人和企业的日常生活当中。人人都能够依靠互联网指数赋能。未来依赖互联网指数进行决策判断和行为指南将成为常态，而不及时拥抱技术，不使互联网指数工具的个人或企业将会因缺乏竞争力被淘汰。长远来看，这必然会导致人们的生活越来越多的依赖互联网指数，从而缺少自主判断能力。数据来自于广大群众，而广大群众的思想被数据所引导和控制，逐渐形成闭环后，人类将逐渐丧失创新的能力。

 

 六  

互联网指数应用的发展趋势

随着互联网在全世界范围的普及，人们在日常生活中会产生越来越多的数据。而算力的提升导致算法的有效性不断增强，这就使得海量的互联网数据能够被更加准确的进行统计和分析。互联网数据越多，训练出来的算法效果越好，算法效果越好，互联网指数的实用性和价值就越高，互联网指数的应用价值越高，人们就越倾向于制造更多数据，从而形成一个正向闭环的增强回路。未来互联网指数将成为未来人们生活娱乐，以及公司产品研发必不可少的工具。拥抱技术将极大的赋能企业和个人。

* 本文为「智周」系列报告「核心版」，相应「深度版」的推出计划将在后续公布， 敬请大家关注。针 对 「 自然语言处理在互联网指数中的应用 」这 一主题，有哪些方向或主题，你希望在报告深度版中读到详细的阐述与分析，欢迎留言，这将成为我们制作报告深度版的重要参考。

关于「智周」系列报告

机器之心「智周」人工智能技术应用报告系列重点关注现有人工智能技术应用较成熟且应用潜力较大的正在进行智慧升级的传统行业及场景，逐行业、逐场景为产业用户高效而不失深度地呈现不同人工智能技术的产业落地现状、企业案例、技术应用趋势等。 「智周」人工智能技术应用报告系列包含 核心版 及 深度版 两个版本：

核心版 浓缩精华分析内容至2页内，覆盖重要数据、分析结论及案例简述，以供使用者高效系统地了解人工智能技术在自身所关注产业内的潜在机会。

深度版 在核心版的基础上，包含详尽的行业或场景痛点分析、技术解读、落地案例详解及资料附录等，以供有深度研究需求的使用者进行深入探究。

▼ 专题推荐