Hinton最新演讲透露下一代神经网络模型的构想 | SIGIR 2020

Posted 2021-04-07 智源社区

7月27日上午，第43届国际信息检索大会（SIGIR 2020）以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代（The Next Generation of Neural Networks）”的主题报告。

智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

 

报告中，Hinton教授指出：人类大脑有10^14个神经元连接，而生命的长度只有10^9秒，因此人类是无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助，受此启发，构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

 

他首先回顾了无监督神经网络的发展历史，结合从LLE、LRE到t-SNE等表达学习模型的进化历程，指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失（Reconstructive Loss），而忽略了对数据间关联关系的捕捉。基于此，他提出了下一代神经网络模型的构想，提出利用对比损失函数（Contrastive Loss）建模样本间的局部关系、增强数据间表达的一致性的解决思路。

 

最后，他还展示了上述构想的一种具体实现方案SimCLR，应用此方案能够显著提升下游图像分类任务的效果（如下图所示）。

 

作为 CCF 推荐的 A 类国际学术会议，SIGIR 历来都是互联网业内关注的焦点，会议覆盖了信息检索领域相关的各类前沿成果，包括基础理论、算法应用以及评估分析。接下来，本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

关于智源线上会议平台

智源线上会议平台，支持包括学术年会、学术报告会、学术沙龙、头脑风暴、学术辩论会、学术讲座、圆桌学术会议和学术座谈会等多种会议形式，实现纯净版视频观看界面。

• 专业用户：智源社区已积累数万人工智能领域优质「观众」及专家学者，覆盖高校师生、开发者、投资人等群体
  
• 国际活动：国内外嘉宾、观众可轻松参与会议，支持国内外用户注册和观看，中英文界面语言
• 交流讨论：不止于单向演讲，重视「交流」的意义与价值，支持直播评论、线上交流区、直播提问专区，除文字外可使用语音、视频等参与直播互动
• 学术会议： 智源线上会议平台在2020年已举办20+场专业的人工智能学术会议，其中有50W人参与的北京智源大会、4000人注册参加的AIS 2020论文预讲会、万人的SIGIR 2020、3000人同时在线的图神经网络在线研讨会，以及CCF语音对话与听觉专业组走进企业系列活动等业内知名AI学术会议
• 稳定易用：智源（社区）技术团队自研平台，专业技术人员保驾护航，提供运营专用网络，兼容主流的直播系统，支持观看端界面个性化布局，实现日程下载及本地日历提醒，此外SIGIR 2020期间支持了44个直播间和300+个线上聊天室

扫码进入SIGIR 2020线上会议

点击阅读原文，进入智源社区参与更多讨论。

相关阅读