纳秒级图像识别！德国开发出即时图像识别芯片

Posted 2021-04-07 EETOP

---

EETOP编译整理自allaboutcircuits

近日来自维也纳大学的一组研究人员开发了一种图像识别芯片，可以在数十纳秒内完成图像识别。终于解决了即时图像识别的大难题！

研究人员使用的芯片

即时图像识别这一壮举是如何实现的？将有哪些应用？ 

简要回顾一下神经网络

神经网络由与输入和输出互连的加权节点组成。系统输入示例数据，并将输出结果与真实答案进行比较。然后调整节点的权重，直到输出与真实数据匹配为止。

然后，将其他数据显示给网络，重复这个学习过程，直到它能够可靠地识别数据并产生正确的输出为止。

 

感知器神经网络

即时图像处理的需求

神经网络是当前人工智能技术的基础，用于在强大的大型系统上识别高达1000帧/秒的图像，而更常见的系统可以处理高达100帧/秒的图像。

尽管这对于非关键应用是可以接受的，但在需要快速图像识别的应用中可能是一个缺点。例如，研究人员可能需要开发一种智能燃烧系统，该系统可以实时分析发动机的燃烧过程，从而使他们能够确定燃料/空气混合物。

在这种情况下，操作员将受益于几乎可以即时处理图像的设备。目前研究人员声称已经完成了这种设备的研制工作。 

神经图像传感器

神经网络滞后的原因是这样的系统需要多个步骤：拍摄图像、传递到神经网络、最后进行处理。处理后，可以生成适当的信号和其他响应。但是，整个过程依赖于传统的CPU，后者以离散的时钟周期运行。

为了解决这一障碍，来自TU Wein的研究人员团队创建了一个神经图像传感器，将所有步骤组合到一个单独的封装中，可以在20纳秒内识别出图像。

根据 发表在《自然》杂志 上的研究，他们的设备基于“可重构的二维（2D）半导体光电二极管阵列，网络的突触权重存储在连续可调的光响应矩阵中”。

（a）ANN光电二极管阵列的图像；（b）光电二极管阵列中一个像素的示意图；（c和d）分类器的示意图。

 研究人员使用的传感器类似于传统的图像传感器，它由一组光电二极管组成，记录投射到芯片上的图像。这种光敏元件是由二烯化钨制成的，这种超薄材料只有三个原子那么厚。这些光敏元件与许多输出元件相连。 

研究人员通过将传感器暴露在图像上，并使用计算机程序调整每个像素的灵敏度来训练芯片。他们通过调整传感器周围的局部电场来做到这一点。然后改变传感器上的像素，直到芯片的输出与任何神经元动作后显示给芯片的图像匹配为止。

一旦经过训练，芯片就不再需要调整，不需要主机干预芯片仍可以继续识别图像。芯片的输出在50纳秒内完成。

应用

维也纳大学研究人员目前使用的传感器只有9个像素，但它已经能够识别不同的形状。因为每个像素都与每个加权神经元相连，所以它可以检测多种模式。

芯片在分析图像后提供适当的输出信号

尽管此传感器不适用于识别复杂图像，但它在高速环境（包括断裂力学和颗粒检测）中具有真正的潜力。这项研究的意义也可能会影响制造环境，在该环境中，条形码和打印的数值数据会高速通过传感器。

传感器在运行期间不消耗任何电能这一事实也意味着该传感器可能高度适用于低能耗环境，包括一次性电子产品和低能耗IoT系统。

论文链接： https://www.nature.com/articles/s41586-020-2038-x.epdf

推荐关注：创芯大讲堂

创芯大讲堂是EETOP旗下在线教育平台，综合IC设计(模拟芯片设计仿真、CMOS射频芯片仿真设计、数字前端、数字后端、FPGA、Verilog、RISC-V等等）、制造、封装多门类课程，同时也随时更新目前热点领域教程涵盖嵌入式、电源设计、通信技术、硬件设计等。

欢迎大家通过多种渠道访问创芯大讲堂

网址： edu.eetop.cn   课程咨询人工微信号： ssywtt

点击阅读原文，进入创芯大讲堂