索尼展示了首款组合图像传感器和AI芯片

Posted 2020-12-20 黑客爱好者

近日，索尼已经开发了一种有趣的新混合技术：硬件中内置有AI处理系统的图像传感器，使其成为单个集成系统。随着图像和代码的不断融合，这种方法的好处和应用潜力巨大。

这个想法在概念上很简单。您可以像今天在任何手机或相机中一样使用传统的CMOS图像传感器，然后将其堆叠在逻辑芯片上，该逻辑芯片不仅用于从传感器上拉出像素，而且用于操作从这些像素中提取信息的机器学习模型。 

结果是单个电子组件可以在将照片发送到其他地方（例如主逻辑板，GPU或云）之前，对照片进行大量有趣的处理。

需要明确的是，图像传感器已经具有伴随处理器，它们可以完成像素分类，将其压缩为JPEG等常规工作。但是他们非常专注于快速执行一些常见任务。

正如该公司所解释的那样，索尼芯片能够处理更复杂的过程和输出。例如，如果暴露于野外的狗中，则芯片可以立即对其进行分析，而无需发送完整的图像，只需报告“狗”，“草”以及它可以识别的其他任何东西。

它还可以进行本质上即兴的编辑，例如裁剪照片中的所有内容，但可以识别并告知要报告的部分，例如花朵，而不是茎。

知名网络黑客安全专家，东方联盟创始人郭盛华透露："这种系统的好处是，它可以在数据进入主设备的存储或处理管道之前将所有不必要或不需要的数据丢弃。一方面，这意味着使用更少的处理器功能，但它也可能更加安全。"

公共场所的相机可能会抢先模糊人脸或车牌。智能家居设备可以识别个人，而无需保存或发送任何图像数据。可以合并多次曝光以形成相机视场的热量或频率图。

您可能期望具有集成AI流程的芯片会产生更高的功耗或延迟，但是Xnor等公司（最近被Apple收购）已经表明，此类任务可以非常快速地以极低的成本执行。

尽管更复杂的处理仍将是更大，功能更强大的芯片的职责范围，但这种首过验证能够产生大量有价值的数据，并且经过适当设计，可以证明对攻击或滥用更为健壮。

目前，索尼的“智能视觉传感器”仍然只是一个原型，可以订购进行测试，但不能批量生产。但是，由于索尼是全球领先的图像传感器提供商之一，因此很可能会以一种或另一种形式进入许多设备。（欢迎转载分享）