华为语音语义首席科学家刘群:自然语言处理,究竟有多难?

Posted 华为

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了华为语音语义首席科学家刘群:自然语言处理,究竟有多难?相关的知识,希望对你有一定的参考价值。


什么是自然语言处理?

其应用会如何改变我们的生活?

为什么说它是AI中最难的部分?

它的发展又面临怎样的挑战?


有请华为诺亚方舟实验室

语音语义首席科学家刘群

为我们一一解答


华为语音语义首席科学家刘群:自然语言处理,究竟有多难?

自然语言处理:AI皇冠上的明珠


自然语言处理,既是一门科学,也是一门应用技术,试图让机器去模拟人类的语言能力。


自然语言处理的研究对象是人类语言,如词语、短语、句子、篇章等。通过对这些语言单位的分析,不仅要理解字面含义,还希望能理解说话人所表达的情感,以及传达的意图。


没有成功的自然语言处理,就不会有真正的认知智能。因此,自然语言处理被视为人工智能的核心问题之一,也被喻为“AI皇冠上的明珠”。


华为语音语义首席科学家刘群:自然语言处理,究竟有多难?

两大挑战,仍待突破


随着人类进入智能时代,智能设备和数据量都空前增长,自然语言处理领域经过多年发展,虽然取得了长足的进步,但面临很多挑战,其中最主要的主要问题有两个:


一是语义理解,即知识、常识的学习问题。


尽管常识的理解对人类来说不是问题,但是它却很难被教给机器。比如我们可以对手机助手说“查找附近的餐馆”,手机就会在地图上显示出附近餐馆的位置。但你如果说“我饿了”,手机助手可能就无动于衷,因为它缺乏“饿了需要就餐”这样的常识。


大量的这种常识都潜藏在我们意识的深处,AI系统的设计者几乎不可能把所有这样的常识都总结出来,并灌入到系统中。


华为语音语义首席科学家刘群:自然语言处理,究竟有多难?

二是低资源问题。


面对标注数据资源贫乏的问题,譬如小语种的机器翻译、特定领域对话系统、客服系统、多轮问答系统等,自然语言处理尚无通用的高效解决办法。


在工程实践中,我们除了设法引入领域知识(词典、规则)以增强数据能力之外,还可以基于主动学习的方法来增加更多的人工标注数据,以及采用无监督和半监督的方法来利用未标注数据,或者采用多任务学习的方法来使用其他任务,甚至其他语言的信息,还可以使用迁移学习的方法来利用其他的模型。


 

如何改变我们的生活?

 


华为诺亚方舟实验室的自然语言处理研究主要包括三个大的方向:语音技术、机器翻译和对话。


华为的手机语音助手就集成了诺亚方舟的语音识别和对话技术。诺亚方舟的机器翻译技术支持了华为内部海量的技术资料的翻译。诺亚方舟基于知识图谱的问答技术为华为的全球技术支持系统(GTS),提供了快速准确地回答复杂技术问题的能力。


在金融、法律、医疗健康等领域,自然语言处理技术也得到了越来越广泛的应用。


例如,自然语言处理可以为证券投资提供各种分析数据,进行金融风险分析、欺诈识别等;可以帮助进行法律工作者进行案例搜索、判决预测、法律文书自动生成、法律文本翻译、智能问答等;还可以帮助医生进行病历的辅助录入、医学资料的检索和分析、辅助诊断等等。


点击“阅读原文”,查看《自然语言处理:让机器善解人意》全文。


以上是关于华为语音语义首席科学家刘群:自然语言处理,究竟有多难?的主要内容,如果未能解决你的问题,请参考以下文章

华为云获DigSci科学数据挖掘大赛冠军

华为海外女科学家为您揭秘:GaussDB(for MySQL)云栈垂直集成的力量有多大?

与Python的速度较量:C++究竟有多快?

米粉王斌NLP大牛王斌加盟小米,任自然语言处理首席科学家

自然语言处理 | 统计语言模型

自然语言处理基础知识