AMiner 新功能：技术趋势分析—挖掘技术源头近期热度和全局热度

Posted 2021-01-31 chuangye95

技术趋势分析的方法

技术趋势分析描述了技术的出现、变迁和消亡的全过程，它可以帮助研究人员理解领域的研究历史和现状，快速识别研究的前沿热点问题。学者运用统计分析、模型构建、AHP 等方法对技术发展路径进行了一系列研究，这些方法大多是偏重于专家德尔菲法的定性分析，重点在于指标的设定，缺乏定量数据分析。另有一些研究者利用专利主路径分析研究技术的变迁，然而较少考虑技术主题随着时间的继承、分裂和融合。基于数据挖掘的主题变迁通过挖掘深层次的科技文本语义信息，能够有效的解决这一问题。

主题变迁是指一个领域的研究主题的内容和热度随着时间变化的现象，通过识别并关联不同时间片的技术主题，探索和分析领域主题变迁并通过可视化的方式进行展示，可以从更全面的视角感知技术的演进，对于技术发展路径识别具有重要意义。

技术流程

基于科技知识图谱，AMiner 以可视化的方式，对查询领域 q 的热度演化趋势进行总结。

具体而言，某一技术领域 q 的热度，可以定义为该技术相关术语集合 T q = {t} 在 y 年中的所有文献内的词频数。在这一设定下，问题的关键在于如何定位一个技术领域所相关的术语集合。AMiner 将领域术语集合定义为该领域内专家常用的关键词。其具体算法流程如下：

首先，根据输入的领域查询词 q 进行专家搜索，得到候选专家集合 {A}q。

其次，对候选 {A}q 根据与 q 的相关度和该专家的权威度（见公式 (6-1)）进行排序。取出排序结果中的前 K 个专家 {A}K q 作为分析对象。

最后，获取 {A}K q 中每位专家历年的研究成果，分别抽取关键词，构成术语集合 T q。进而，技术趋势分析被转化为针对术语集合 T q 热度的分析。

相关研究

主题识别

主题识别是指利对领域文献进行挖掘，以发现其中隐含的研究主题。随着文献爆发式增长，主题识别面临着文本维度高和数据类型复杂的挑战，传统的基于专家知识的定性方法不再适应现实情况，基于机器学习的自动化识别逐渐成为主流。目前研究人员针对自动主题识别提出了许多方法和模型，其中主题模型已经成为技术主题识别领域最常用的方法模型。

专家学者是科学研究的主体，一些杰出学者往往引领着学科的发展，可以通过挖掘杰出学者公开发表的科技文献，发现科学领域的主要研究主题以及主题之间的联系。一些关键词被某一学者在发表的文章中提及，可能表明这些关键词之间存在一定的关联关系；如果这些关键词被不同的作者提及，可能说明不同作者认可这些关键词之间的关联关系，可认为这些关键词能够构成研究主题。如果某个关键词在作者的文章中多次出现，可以表明作者对关键词所代表的研究主题做了大量研究，并间接说明作者对该领域具有一定的影响力。

主题关联和可视化

为了分析技术主题变迁，通常需要根据发表时间将文献划分到相应的时间片内，通过文本挖掘获得不同时间片上的主题，将这些主题关联起来是主题变迁的核心步骤，主题能否关联决定着主题之间是否存在变迁关系。崔凯等利用 KL 相对熵来度量主题之间差异性，李湘东等利用 JS 距离对期刊主题相似度进行衡量。为了便于直观了解技术发展路径，主题关联需要进行可视化展示，主题关联和可视化关系密不可分，可视化是为了更好的主题变迁分析，并可以展示技术发展路径。

现有的路径可视化工具众多，其中陈超美基于 java 开发出 Citespace I 和 Citespace Ⅱ，这两款软件具有时序分割，同被引分析、时序网络可视化等功能。Susan Havre 等推出 ThemeRiver 模型，用于反应文档主题强度信息的变化过程。微软亚洲研究院提出 TextFlow 方法，在海量文本分析中引入主题合并和分裂的信息。

具体分析

我们将为大家展示 AMiner 中技术趋势分析系统的 Answer machine 领域的界面截图。在该系统中，术语集合的热度被可视化地展示为 Sorted Stream Graph 的形式。

其中，图中的每个彩色分支表示一个术语，其宽度表示该术语在当年的热度，各分支在每一年份在图中按照其热度进行排序。

系统包括三个视图：技术源头、近期热度和全局热度，用于展示领域发展的开端和现状，以及相关领域热度的变化趋势。

技术源头图

从图中可以观察到，综合来看，Answer machine 由 language generation、knowledge engineering、text planning、text classification 等领域演化而来。在 1971 年至 1981 年十年间，该领域的来源关键词主要是 knowledge engineering，此后关键词逐渐多元化，language generation 和 text planning 开始加入进来。

全局热度图

全局热度展示了该领域相关术语在所有年份上的平均热度，综合来看，Answer machine 的全局热度包含了 question answering、community question answering、machine translation 和 Neural Network 等关键词。

我们还可以看出，machine translation 这一概念自二十世纪九十年代开始兴起，但是于 2000 年前后热度下降。这是由于 information retrieval、question answering 和 Support Vector Machine 等技术与其竞争导致的。并且 question answering 在 2001 年至 2010 年间呈现爆发式地增长。

近期热度图

上图为该领域近期热度，综合来看，近期 Answer machine 的热点集中在 question answering、community question answering、machine translation 和 Neural Network 等关键词，与全局热度图是相似的。

技术趋势分析这一功能可以帮助用户了解技术的来龙去脉，技术发展趋势。技术趋势的发展是科技工作者和科研管理部门必须要考虑的因素。实时的分析技术的发展趋势，了解领域动态，并且实时的分析趋势发展中各个国家的分析和对比，及时的了解学科发展状况，领跑，并跑还是跟跑。