了解点OpenAI及深度学习研究前沿

Posted 2022-12-03 songrotek

前言

OpenAI是2015年底刚成立的人工智能公司，由Elon Musk领投，号称有10亿美金的投资额，由几位人工智能的顶尖好手组成。这基本上意味着一个新的DeepMind公司诞生，只不过这次OpenAI是一个组织，不属于任何一个公司。

为什么要了解OpenAI？

因为OpenAI的研究内容很大程度上代表着人工智能的研究方向，由于其非盈利性质以及地处加州硅谷这种黄金地段，未来聚集更多顶尖人才的可能性很大，成为一个和DeepMind公司抗衡的可能性非常大。OpenAI的出现将使顶级人工智能的研究不至于被Google（主要是Google，当然还有Microsoft，Facebook，Baidu，IBM，Nvidia等等）垄断。

OpenAI网址：www.openai.com
OpenAI AMA: AMA网址

OpenAI的很多成员恐怕大家都比较熟悉，有Hinton的学生，有李飞飞的学生，有Pieter Abbeel的学生，也就是Andrew Ng的徒孙了。最近Ian Goodfellow大牛也加入，DeepLearning那本书就是他主笔的。

了解OpenAI最重要的是了解人工智能的研究前沿。

人工智能最前沿的研究方向是什么？

OpenAI提了三点：
- Training Generative Models
- algorithms for inferring algorithms from data
- new approaches to reinforcement learning

那么这三类分别代表什么呢？

Deep Generative Models

第一类面向生成模型，主要任务是生成新的信息，既有有监督学习，也有无监督学习。比如Sequence to Sequence Learning。翻译：输入英文，输出中文。聊天：输入A对话，输出B对话。 输入文字，输出手写字体。还有自动生成文字（如上图，来自otoro.net），音乐，艺术(Deep dream,Neural Art)。。。 这里面也包含了one shot learning。也就是看一眼图像，就衍生出其变种,如下图：

那么这方面的研究意义在哪呢？我的观点是探索人工智能的感知能力。一方面是不同类型数据的感知，一方面是快速感知与学习。对于不同类型数据的感知。以前只是图像识别，现在开始识别艺术特征，也可以识别文字信息的特征用于翻译对话等等。然后我们发现RNN简直无敌，什么信息都能自动提取。对于同一个seq2seq网络，用在翻译，聊天，理解炉石传说的卡片。。。 RNN可以理解任意形式的内容。另一方面我们希望能够想人类一样快速感知，而不需要巨量的训练数据，也就是看一眼就认得。

Learning Algorithm & Neural Turing Machine

本质上基于RNN计算机可以学习任何东西，那么当然也包括算法和程序了。所以Neural Turing Machine是目的是让计算机能够学习程序，从而具备推理能力。举个栗子：让计算机看很多加法运算，然后学会加法，这大概是最简单的例子。但基本是这个意思。那么Neural Turing Machine需要具备外部记忆，不过RNN，LSTM本身就具备记忆功能。想象一下未来的电脑真的变成一个“脑”：一个巨大的神经网络来实现输入输出。。

上一类研究问题是实现AI更强的感知能力，那么这一类问题就更变态了，直接要实现AI不仅能理解还能推导。当然本质上和第一类问题是一样的。感知也是一种理解。归根到底都是提取某种特征或者说知识信息,并且具备生成能力。依然是用RNN，目前最新的是基于增强学习的NTM。也就是说也通过自学习来增强理解。

这一部分的研究还面向公式的证明，但这次是使用神经网络来证明公式。
其实只要能通过RNN使计算机具备理解能力，那么做什么事都一样。

Deep Reinforcement Learning

上面两类问题主要依赖于现有知识，目的是使AI具备牛逼的学习能力。但是要使AI超越人类，就需要自我学习。大家知道AlphaGo能够自我学习，关键就是利用增强学习Reinforcement Learning.
因此，这部分Deep Reinforcement Learning，重点在于使用增强学习实现自学习能力。有很多任务并不是提供很多的样本，特别在机器人控制领域。这类问题严重需要自学习能力。也就是类比为人类的运动能力。大家知道我们要打篮球打得好需要长期的练习，并不是看一眼就会的。因此，Deep Reinforcement Learning，通往AGI的终极武器，要使AI具备自我学习的能力，只要给定一个目标。

小结

人工智能的发展超出了想象，OpenAI的研究方向的进展将使人工智能具备更强的学习能力，也可以说是智能水平！三种类型的研究方向其实都相互依赖，只是各有侧重，都非常酷。而这些东西的本源是RNN。又让人想到了Jurgen Schmidbuber这个神牛了。

在这三个方向中挑一个搞都将很有意义！