一种神经元探索系统方法及装置

Posted 2020-10-11 将者，智、信、仁、勇、严也。

发明背景与现有技术
应用背景
深度学习已经在图像分类检测、游戏等诸多领域取得了突破性的成绩。由于人工神经网络计算量大，训练时间长。因此，相关的硬件加速平台也在百花齐放，包括基于英伟达的GPU、谷歌的TPU、以及FPGA实现的神经网络硬件平台。神经网络的结构复杂多样、计算量大的特点，给硬件设计带来了巨大挑战。
原有技术及问题
（1）传统神经网络
基于传统的CPU完成运算，缺点是神经网路的神经元众多，由于单机的CPU个数限制，整个网络的并行计算性能不高。
（2）硬件加速神经网络
通常基于FPGA 等可编程芯片，这样的神经网络运算能力强，并行性好。但是这样的神经网络，其硬件实现的底层神经元缺乏自适应学习和演化能力。

本发明技术方案
神经网络互连模型
如右图，每一个方块表示一个神经元，以二维硬件模型（如FPGA）为例，每一个神经元连接着另外四个神经元。整个模型有三类输入输出：
（1）任意输入，每一个输入连接到一个神经元上；
（2）任意输出，每一个输出连接到一个神经元上；
（3）奖励反馈输入，连接到所有神经元上。
此外，两个相连神经元之间的连接为一个或多个浮点数（用以记忆神经网络参数）存储单元。
神经元，内部是一个多层神经网络的结构，带有自适应学习和演化能力
（1）多层神经网络有五个输入：分别表示四个连接存储单元的大小和一个奖励反馈信号的大小；
（2）多层神经网络有四个输出：四个连接存储单元的变化率；
（3）使用优化算法（如遗传算法、强化学习或者策略梯度）来优化神经网络的权重以最大化长时平均奖励（一段时间的平均奖励）
（4）优化的每一个迭代使用多种不同常用机器学习问题来进行训练。监督学习和无监督学习都需要提前转化为强化学习问题

 

本发明的技术保护点
本文提出神经元探索系统设计方法，包括神经网络互连模型，带有自适应学习和演化能力的神经元设计等

本发明有益效果
解决问题
1）神经元具备自适应学习和演化能力，可以构建结构复杂多样的神经网络。