异步脉冲神经网络与类脑计算系统研发动态

Posted 2021-04-26 COPU开源联盟

异步脉冲神经网络与类脑计算系统研发动态

陆首群2020.9.5

在今年7月15日召开的《第15届开源中国开源世界高峰论坛》（线上会议）取得了很大成功，海内外舆论反响热烈！

会上报告亮点很多！仅以环绕研发人工智能发展前沿的报告为例，如打破机器学习黑盒子发展可解释的人工智能的报告（推荐数十种破解黑盒子的工具或算法），系全球首创；如研发异步脉冲神经网络发展类脑算法，是当前人工智能的发展前沿；还有如基于知识工程，研发以大规模语义网络求解认知算法，虽然还差最后一公里（目前全世界研究水平均如此尚未能突破），但还是对人工智能发展前沿的研发进行了有益的探索。

这里仅就异步脉冲神经网络与类脑计算系统研发报告中谈到的动态作一简报。

异步脉冲神经网络（SNNs）是模拟人脑神经元连接、信息处理和运行方式的模型，以实行类脑计算，这也是人工智能的一条升级之路（从弱人工智能跃升为强人工智能）。

在传统计算（非人工智能）领域，乃至在弱人工智能领域，是采用计算机运作机制、传统数据处理通用算法，主要依靠硅基芯片微处理器，遵循冯·诺伊曼计算架构；在强人工智能领域，是采用模仿人脑的运作机制、类脑算法，将模仿人类大脑功能的神经拟态计算技术映射到神经拟态芯片（硬件）上，遵循神经拟态计算架构（或新型类脑计算架构）；在人类智能（智慧）领域，则依据人脑生物学的运作机制进行计算。

类脑计算（即神经拟态计算）是下一代人工智能的重要方向（或主流模式）。

当前计算技术发展遇到瓶颈：一是摩尔定律将失效，神经拟态芯片将取代传统的硅基微处理器芯片；二是冯·诺伊曼计算架构（读取、存储、处理数据能效低下）将被新的计算架构（类脑计算架构或神经拟态计算架构）所取代。

在进行学习、认知、处理等复杂计算时，人脑计算功耗最少，约3-5W，类脑计算功耗约350-500W，而标准计算机能耗约50-200KW。据Loihi神经拟态计算研发团队报告：神经拟态计算比传统计算，速度快1000倍，能效高10000倍。

神经拟态计算依靠神经元、突触进行信息编码和处理，神经元（计算）、突触（存储），计算存储不再分离，配置一体化，传输依靠脉冲（尖峰）神经网络，当尖峰运作时才进行信息传输，如此的传输机制有利于节能。

人脑或类脑计算模式与硅基计算机原理之间差别很大：

①在人脑或类脑计算中，计算（神经元）和存储（突触）是一体化的，融合在一起的，在硅基计算中，计算（处理单元）和存储（存储单元）是分离的；

②在人脑或类脑计算中，存在三维广泛连通性，在硅基技术上尚无法模拟三维连通，受限于二维连接；

③在人脑或类脑计算中，是基于脉冲的事件驱动型的随机计算，在硅基技术中主要为了构建确定性计算采用晶体管间布尔代数电路开关。

④在人脑中是生物学自主低能耗类型，在类脑计算中实行节能型，在标准计算机中能耗大。

目前国内外研发异步脉冲神经网络与神经拟态计算（或类脑计算）系统案例如下：

① 英特尔案例

2017年发布Loihi脉冲神经网络（SNN）芯片。

芯片制程14nm，管芯尺寸60mm，每颗芯片包含20多亿个晶体管。

每颗芯片128个核，每个核支持1000个神经元，每颗芯片支持13万个神经元、1.3亿个突触。

2019年，英特尔将Loihi芯片集成为PohoikiBeach：

64XLoihi=800万个神经元，组成神经拟态网络。

2020年3月19日，英特尔将Loihi芯片集成为PohoikiSprings：768XLoihi=1亿个神经元，组成神经拟态网络（相当于小型哺乳动物大脑）。

应用场景（略）

② 浙江大学案例

2015年12月发表达尔文—1脉冲神经网络芯片。

2019年发表达尔文—2脉冲神经网络芯片：每颗芯片576个核，每个核支持256个神经元，每颗芯片支持15万个神经元。

2020年9月1日，浙大将达尔文—2集成为：792X15万=1.2亿个神经元（相当于小鼠大脑）。

应用场景（略）

③英国曼彻斯特大学案例

2016年发布SpiNNaker—1脉冲神经网络（芯片）和类脑计算机，每颗芯片支持1.6万个神经元，曼彻斯特大学将SpiNNaker芯片集成为：30KX16K=4.6亿个神经元。

在线上会议后我向英特尔方面提出下列问题请他们作补充：

①进一步梳理神经拟态计算机制

②改进训练神经拟态计算模型的效果

③进一步研发多模态实时应用场景