论坛报名 | 语音与自然语言处理的最新突破和前沿趋势

Posted 2021-04-12 智源社区

与6位图灵奖得主和100多位专家

共同探讨人工智能的下一个十年

长按图片或点击阅读原文，内行盛会，首次免费注册

北京智源大会倒计时：5天

---

2020年6月21-24日，第二届（官网：https://2020.baai.ac.cn）将邀请包括6位图灵奖获得者在内的上百位人工智能领袖，一起回顾过去，展望未来，深入系统探讨“人工智能的下一个十年”。本次大会将开设19个专题论坛，主题涵盖人工智能数理基础、自然语言处理、智能体系架构与芯片、人工智能伦理治理与可持续发展、机器学习、智能信息检索与挖掘、认知神经基础、机器感知、决策智能、AI医疗、AI创业、AI交通、AI+大数据+防疫、AI框架、图神经网络、知识智能、强化学习、青年科学家机器学习前沿，以及AI科技女性，遍历人工智能基础研究及创新应用，结合时局解析人工智能最新动态，探索未来发展方向。

 

我们将带你走进各个分论坛，领略嘉宾风采、洞悉前沿趋势。今天介绍的是将于6月22日上午举行 的语音与自然语言处理专题论坛 。

 

论坛主席

 

孙茂松

 

清华大学教授、智源首席科学家、博士生导师，清华大学人工智能研究院常务副院长。主要研究领域为自然语言处理、互联网智能、机器学习、社会计算和计算教育学。国家重点基础研究发展计划（973计划）项目首席科学家，国家社会科学基金重大项目首席专家。在一流国际刊物、一流国际会议、国内核心刊物上发表论文约300篇，Google Scholar论文引用数11000余次。2013年带领清华大学团队成功研制并发布了全球第一个面向全社会免费使用的中文大规模在线开放课程（MOOC）平台“学堂在线”，目前学习者达6000万人。2017年领衔研制出“九歌”人工智能古诗写作系统，并在一流国际会议上发表了一系列相关学术论文，取得了良好的社会影响。

论坛主持

 

何晓冬

 

京东集团副总裁、智源学者、人工智能研究院常务副院长、智联云人机交互部门负责人。他还是国际电气与电子工程师协会会士 (IEEE Fellow) 和中国人工智能学会会士 (CAAI Fellow)，华盛顿大学 (西雅图) 等高校兼职教授。他曾担任IEEE西雅图分会主席，及多个国际一流学术期刊的编委/副主编。曾在微软雷德蒙研究院任首席研究员，深度学习技术中心（DLTC）负责人。主要研究领域为自然语言处理和语言与视觉多模态信息处理。他和合作者提出的DSSM、HAN、DistMult、Bottom-Up Attention等工作在业界获得广泛应用，谷歌学术论文引用1.8万次，多次获得IEEE和ACL的最佳论文奖项及赢得重要的人工智能技术大赛。何晓冬博士负责领导团队开展颠覆式创新导向的人工智能基础技术研究，以及智能客服、智能营销、智能消费媒体、数字智能与流程自动化等技术的商业化，为用户及相关行业客户提供服务。

演讲主题及嘉宾介绍

 

1.  Linguistic structure discovery with deep contextual word representations

议题简介： In Natural Language Processing, the long dominant way of using the structure of human languages in systems for various downstream tasks was through the use of extensive hand-annotated resources that showed the linguistic structure, such as treebanks. However, recent deep contextual word representation models, such as BERT, are simply trainin a self-supervised fashion to predict a masked word in a given context. Nevertheless, once fine-tuned, they yield even better task performance seemingly without any such structural knowledge. How is this so? I examine how these models learn knowledge of linguistic structure because it helps them in word prediction. We develop methods for identifying linguistic hierarchical structure emergent in artificial neural networks and demonstrate that components in these models focus on syntactic grammatical relationships and anaphoric coreference, and moreover there seems to be signficant shared cross-linguistic structure, or a kind of Universal Grammar. These results both help explain why these models have brought such large improvements across many language-understanding tasks and provide intriguing evidence for the possibility of learning language from observed evidence alone, as human children appear to do.

     

演讲嘉宾： Christopher Manning

斯坦福人工智能实验室（SAIL）主任，斯坦福大学语言学和计算机科学系机器学习领域、斯坦福人类中心人工智能研究所（HAI）副主任。曾先后在卡内基梅隆大学、悉尼大学等任教，1999 年回到斯坦福大学，就职于计算机科学和语言学系，是斯坦福自然语言处理组（Stanford NLP Group）的创始成员及负责人。Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成，研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等，是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会（AAAI）、国际计算语言学会（ACL）等国际权威学术组织的 Fellow，曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖， 著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教 材。

2. Contextualized Language Processing with Explicit Representations of Context

议题简介：Automatic processing of human language (both text and speech) is playing increasingly important and diverse roles in technology, from enabling natural communication with devices to learning from social media.  Language processing is challenging because word use is highly dependent on context. New methods of neural modeling that learn embedded word representations from neighboring words have enabled substantial advances on a variety of tasks, including language understanding, translation and generation.  However, there are other types of context that are easily available for many forms of language: genre or speaking style, author or speaker index, location, social context, etc. This talk describes different neural architectures for contextualizing language that involve learning embedded representations of context as a separate factor in the model.  Looking at a variety of language processing problems, we explore different mechanisms for representing and leveraging context, showing that explicit representation of context both improves performance and provides insights into characteristics of language associated with different contexts.

 

演讲嘉宾： Mari Ostendorf

Professor, Electrical & Computer Engineering, University of Washington . Mari Ostendorf joined the University of Washington in 1999. She is an Endowed Professor of System Design Methodologies in the Electrical & Computer Engineering Department, an Adjunct Professor in Linguistics and in Computer Science & Engineering, and Associate Vice Provost for Research. She is a Fellow of the IEEE, ISCA and ACL, a former Australian-American Fulbright Scholar, a member of the Washington State Academy of Sciences, and a corresponding fellow of the Royal Society of Edinburgh. Prof. Ostendorf's research explores dynamic models for understanding and generating speech and text, particularly in multi-party contexts, and it contributes to a variety of applications, from education to clinical and scientific information extraction.

3. 预训练模型在多语言、多模态任务的应用

议题简介：最近几年神经网络自然语言处理取得了很大的进展，其中预训练模型是最近引起普遍关注的创新技术。利用几乎无限的文本数据，可以自监督的方式训练一个大型的语言模型，实现对文本的词汇的上下文相关的语义表示。在学习一个特定任务时，基于预训练模型进行细调获得了很大的性能提升。预训练模型进一步延伸到多语言、多模态的任务中，也取得了令人鼓舞的进步。本讲座介绍多语言、多模态预训练模型技术，探讨自然语言处理目前新的机会。我们也将介绍我们最近的研究成果包括支持语言理解和语言生成的统一的预训练模型（UniLM）和支持跨语言任务的预训练模型（Unicoder）。

    

演讲嘉宾：周明

微软亚洲研究院副院长 。他是国际计算语言学会（ACL）前任会长，中国计算机学会副理事长、中国中文信息学会常务理事、中国多所大学博士生导师、首都劳动奖章获得者。曾获得2010年华尔街日报亚洲创新奖、2012年微软CEO颁发的Ability Award以及2019年中国乌镇互联网大会颁发的世界互联网领先科技奖。他是中国第一个中英机器翻译系统（CEMT，1989年）和日本最著名的中日机器翻译产品J-北京（1998年）的研究者。在微软亚洲研究院，他长期领导NLP的研究。他主编了《机器翻译》、《智能问答》等技术专著。

4. Differentiable Weighted Finite State Acceptors for Machine Learning Applications

议题简介：For machine learning problems where the output is a sequence, it is helpful to be able to represent collections of sequences with associated scores. Weighted Finite State Acceptors (FSAs) are useful for this.  In the past it has been difficult to integrate these with machine learning toolkits.  We describe some ideas which can make Finite State Acceptors compatible with automatic differentiation (autograd).  We are working on a software package that can extend PyTorch and TensorFlow to work with collections of sequences, based on FSAs.

演讲嘉宾 ：Daniel Povey

小米集团语音首席科学家。 著名的语音识别开源工具 Kaldi 的主要开发者和维护者，被称为是Kaldi 之父。Kaldi 集成了多种语音识别模型，包括隐马尔可夫和最新的深度学习神经网络，公认是业界语音识别框架的基石。Kaldi被广泛用于工业界和学术界，几乎所有的语音团队都在使用Kaldi引擎来开发智能解决方案，有关于介绍Kaldi的论文被引用3000多次，Povey博士的论文也被引用了20000多次；他还对语音识别做出了许多科学贡献，包括助力判别训练（现在称为序列训练）的早期发展等。

- 点击阅读原文或长按图片，内行盛会，首次免费注册-