deeplearning.ai 人工智能行业大师访谈 Ruslan Salakhutdinov 听课笔记

Posted 2020-10-15

Ruslan Salakhutdinov一方面是苹果的研究主管，另一方面是CMU的教授。

 

1. Ruslan说自己进入深度学习完全是运气，他在多伦多大学读硕士，然后休学了一年，他在金融领域工作，那时候他不确定是否要去读个博士。有一天早晨，他在路上遇到了Geoffrey Hinton。Geoffrey Hinton跟他说他有个好点子，然后两个人一起散步讨论，Geoffrey介绍了玻尔兹曼机之类的东西，Ruslan说自己当时没听懂Geoffrey在说什么，但他听了觉得很激动。。。于是就跟着Geoffrey读博士了。。。那是2005、2006年左右，深度学习的框架慢慢开始成熟。

 

2. 关于受限玻尔兹曼机（RBM）和深玻尔兹曼机，Ruslan说模型非常好，在GPU大规模应用之前，预训练非常有效，是替代反向传播的手段。GPU大规模应用之后，计算能力得到很大提高，反向传播被大规模应用。

 

3. Ruslan觉得无监督学习（包括半监督学习）的发展空间非常大，对于初学者来说，这是很好的切入点。

 

4. 对于初学者的建议：1）多尝试不同的事情，不要害怕尝试新的东西，不要害怕挑战难的问题。2）不要只是使用现成的框架，而是要写底层代码，知道系统背后的运作原理，知道如何在GPU部署。3）在学术界，有更多的自由来处理长期的问题、更疯狂的问题；在工业界，可以开发技术直接影响百万用户，而且有更多的计算资源；学术界和工业界都很好，关键是早点进入深度学习领域。