YannLecun最新报告 | 自监督学习与能量模型，附99页ppt

Posted 2021-07-06 人工智能博士

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了YannLecun最新报告 | 自监督学习与能量模型，附99页ppt相关的知识，希望对你有一定的参考价值。

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于：专知

自监督学习(Self-Supervised learning, SSL)是近年来机器学习研究的热点之一。在SSL中，学习模型捕获输入变量之间的依赖关系，其中一些可能被观察到，记为X，而另一些不总是被观察到，记为Y。SSL预训练已经彻底改变了自然语言处理，并在语音和图像识别方面取得了非常快的进展。SSL可以使机器通过观察学习世界的预测模型，并学习感知世界的表示，从而减少标记样本或奖励试验的数量，以学习下游任务。在基于能量的模型框架(EBM)中，X和Y都是输入，模型输出一个度量X和Y之间不兼容程度的标量能量。EBM是隐式函数，可以表示X和Y之间复杂和多模态的依赖关系。EBM架构主要分为两类:联合嵌入架构和潜在变量生成架构。训练EBMs的方法主要有两类: 对比方法和容量正则化方法。EBM的许多基础数学借鉴自统计物理学，包括配分函数、自由能量和其变分逼近的概念。

地址：

https://www.youtube.com/watch?v=4lthJd3DNTM

Yann LeCun

在人工智能研究领域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公认为深度学习三巨头，一起获得2018年图灵奖。

Yann LeCun，自称中文名“杨立昆”，计算机科学家，被誉为“卷积网络之父”，为卷积神经网络（CNN，Convolutional Neural Networks）和图像识别领域做出了重要贡献，以手写字体识别、图像压缩和人工智能硬件等主题发表过 190 多份论文，研发了很多关于深度学习的项目，并且拥有14项相关的美国专利。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术，同Léon Bottou一起开发了一种开源的Lush语言，比Matlab功能还要强大，并且也是一位Lisp高手。（Backpropagation，简称BP）反向传播这种现阶段常用来训练人工神经网络的算法，就是 LeCun 和其老师“神经网络之父”Geoffrey Hinton 等科学家于 20 世纪 80 年代中期提出的，而后 LeCun 在贝尔实验室将 BP 应用于卷积神经网络中，并将其实用化，推广到各种图像相关任务中。

Yann LeCun 也是Facebook人工智能研究院院长，纽约大学的 Silver 教授，隶属于纽约大学数据科学中心、Courant 数学科学研究所、神经科学中心和电气与计算机工程系。加盟Facebook之前，Lecun已在贝尔实验室工作超过20年，期间他开发了一套能够识别手写数字的系统，叫作LeNet，用到了卷积神经网络，已开源。他在 1983 年在巴黎 ESIEE 获得电子工程学位，1987 年在 Université P&M Curie 获得计算机科学博士学位。在完成了多伦多大学的博士后研究之后，他在 1988 年加入了 AT&T 贝尔实验室（AT&T Bell Laboratories /Holmdel, NJ），在 1996 年成为 AT&T Labs-Research 的图像处理研究部门主管。2003 年，他加入纽约大学获得教授任职，并在 NEC 研究所（普林斯顿）呆过短暂一段时间。2012 年他成为纽约大学数据科学中心的创办主任。2013 年末，他成为 Facebook 的人工智能研究中心（FAIR）负责人，并仍保持在 NYU 中兼职教学。从 2015 到 2016 年，Yann LeCun 还是法兰西学院的访问学者。