能适应不断变化的环境的"液体"机器学习系统

Posted 2021-04-03 Scientific Frontier

麻省理工学院的研究人员已经开发出一种神经网络，它可以在工作中, 而不仅仅是在训练阶段学习。这些灵活的算法，被称为 "液体"网络，通过改变其基础方程，以不断适应新的数据输入。这一系统可以利用随时间变化的数据流进行决策，包括那些涉及医疗诊断和自动驾驶的领域。

"这是任何蕴含时间的数据处理的前进方向，例如未来的机器人控制、自然语言处理、视频处理"该研究的主要作者Ramin Hasani说。"真的潜力巨大。"

该研究将在2月份的AAAI人工智能会议上发表。除了麻省理工学院计算机科学与人工智能实验室（CSAIL）的博士后Hasani之外，麻省理工学院的共同作者还包括CSAIL主任、Andrew and Erna Viterbi电气工程和计算机科学教授Daniela Rus和博士生Alexander Amini。其他共同作者包括奥地利科学技术研究所的Mathias Lechner和维也纳理工大学的Radu Grosu。

Hasani认为，时间序列数据既无处不在，又对我们理解世界至关重要。"现实世界就是关于序列的。甚至包括我们对世界的感知--你不是在感知图像，而是在感知一系列的图像，"他说。"所以，以时间为序列的数据实际上创造了我们的现实。"

他指出，视频处理、金融数据和医疗诊断应用都是使用时间序列的例子，它们组成了社会的核心。这些不断变化的数据流的变迁可能是不可预知的。然而实时分析这些数据，并利用它们来预测未来的行为，可以促进自动驾驶汽车等新兴技术的发展。所以Hasani建立了一个适合这个任务的算法。

Hasani设计了一个神经网络，可以适应现实世界系统的可变性。神经网络是一种通过分析一组 "训练集 "来识别蕴藏其中的模式的算法。它们经常被说成是在模仿大脑的处理回路--Hasani直接从一种微生物线虫：C. elegans中获得灵感。"它的神经系统中只有302个神经元，"他说，"但它却能产生意想不到的复杂动态。"

Hasani对他的神经网络进行了编码，并仔细关注C. elegans神经元如何通过电脉冲激活和相互沟通。在他用来构建他的神经网络的方程中，他允许参数随着时间的推移而变化：根据一组蕴含其中的微分方程的结果而改变。

这种灵活性是问题的关键。大多数神经网络的行为在训练阶段后就是固定的，这意味着它们不善于适应输入数据流的变化。Hasani说，他的 "液体"网络的流动性使其对意外的或含噪声的数据更具弹性，例如当大雨遮挡了自动驾驶汽车上摄像头的视野，其仍能发挥作用。"所以这套系统具有更高的鲁棒性，"他说。

他补充说，网络的灵活性还有一个优势。"它的可解释性更强"

Hasani说，他的液体网络绕开了其他神经网络常见的不可解释性。"只是改变神经元的表示方式，"就如Hasani对微分方程所作的改变一样，"你真的可以探索一些平时你无法探索的复杂性。" 得益于Hasani的少量高表达的神经元，我们更容易窥视神经网络决策的 "黑箱"，并判断神经网络为什么会做出某种特定行为。

"模型本身的表现力更加丰富，"Hasani说。这可以帮助工程师理解和改进液体网络的性能。

Hasani的神经网络在一系列测试中表现出色。它在预测从大气化学到交通模式等数据集的预期值方面的准确度，比其他最先进的时间序列算法高出几个百分点。"在许多应用中，我们看到性能如此的高，"他说。另外，神经网络的小规模意味着它无需恐怖的算力就可以完成测试。"每个人都在谈论扩大神经网络规模，"Hasani说。"我们希望缩小规模，拥有更少但更丰富的节点。"

Hasani计划不断改进该系统，并为工业应用做好准备。"我们有一个可被证明的更好的神经网络，它的灵感来自于自然。但这只是这个过程的开始，"他说。"显而易见的问题是，你如何扩展这一点？我们认为这种液体神经网络可能是未来智能系统的关键元素。"

这项研究得到了波音公司、美国国家科学基金会、奥地利科学基金以及欧洲领导力电子元件和系统公司的部分资助。