数字中国的视觉进阶：ISP的来处与归途

Posted 2021-06-24 脑极体

每次不知道该聊点什么的时候，我就会去一些网站和社区溜达找找灵感，海外如WIRED、MIT News、mashable，国内如极术社区，都是我的大脑“充电站”。

这个周一，被选题按在桌前摩擦的我又去极术社区里逡巡了，恰好就让我发现了一个极为有趣的事情：一个名为《安谋中国“玲珑”ISP处理器概览》分享，在极术社区引起了开发者的热议，各种问题在帖子下面建起了高楼。

无独有偶，近两年在产业界，我们也能发现ISP芯片变得越来越有存在感。苹果、三星、华为等已经在产品中应用了自研ISP模组，OV小米等手机厂商在冲击高端化进程中也加大了自研ISP领域发力。

ISP这个名词可能有点陌生，但早已渗透在绝大多数普通人的日常生活。简单来说，相机在采集图像时，会遇到许多影响图像质量的因素，噪音、色差、明暗等变化都会导致设备无法还原出真实的画面（所以不要再怪苹果前置摄像头把你拍丑了）。而ISP(Image Signal Processing) 图像信号处理的作用，就是通过降噪、自动曝光、自动对焦、自动白平衡、图像锐化等操作，把传感器采集到的数据转换成接近真实场景的数字流。

不难发现，ISP最为大众所感知的应用，就是手机的摄影摄像功能了。那么，在智能手机在存量市场“内卷”的当下，摄影摄像似乎已经停留在高水平竞争很久了，这股ISP热潮究竟是从何而来？为什么会吸引如此多的开发者及厂商？又是如何影响中国智能化进程的？

这是一个十分值得讨论的话题，也将在接下来深度影响你我的数字生活。

缘起：重新审视ISP

佛教有云，一切有为法，皆待缘而起。ISP为各大芯片厂商，尤其是中国企业所重视，并不是没有原因的。佛陀将缘起归结于老死忧愁等苦难，ISP的“走红”也与现实挑战有着直接关联。

第一重挑战来自国际。在全球半导体贸易的不确定性当中，传统的芯片架构和供应链都可能影响中国智能产业的发展，因此，更自主可控的方案如ARM架构就取代传统芯片方案成为手机、电脑、汽车等芯片的主流，而所谓处理器核心模组之一的ISP芯片，自然也面临着新的市场需求和技术创新。

第二重挑战来自国内。随着AI、5G、云计算等技术的成熟，越来越多的行业场景开始应用上了计算机视觉技术，摄像头变得无处不在。尤其是数字化建设如火如荼的中国，摄像头、视觉感知等应用爆发式增长。比如在汽车自动驾驶辅助系统（ADAS） 、工业智能制造、文档扫描、人脸识别、智慧监控等等多种社会服务中，都对图像质量提出了更高的要求，数字中国的发展，推动着ISP芯片以更低的功耗成本实现更高的分辨率。

第三重挑战来自用户。当然，智能手机的图像质量是大众最常接触、最具感知力的应用了。高速增长的影视技术，清晰度从720p飞速发展到4K乃至8K时代，直播、短视频、虚拟现实、AR等新应用的出现，也对ISP的性能、功耗、延迟等都提出了挑战。对于智能手机厂商来说，在媲美单反的基础上，打造出差异化的影像能力，已经成为一道不容回避的命题。

天时、地利、人和，三者皆备，ISP芯片自然也越来越受到开发者和厂商们的重视。

当下：数字中国需要怎样的“眼睛”？

既然ISP需求增长的背景已经明确，那么更符合当下产业及消费者需求的ISP芯片，其特征也就呼之欲出了：

· 更高的可控度。不仅要在供应链层面保证各个厂商应对不确定性的需求，还要包含差异化图像能力的软硬件基础，从而最大程度降低下游厂商的产品研发风险与成本。比如安谋中国就面向中国市场，以ARM架构为基础自研了“玲珑”多媒体产品线，来赋能本土自主创新。

· 更高的性能。通过更先进的技术，满足工业、自动驾驶、安全监控等对图像画质高精度的需求，比以往更加强大和精确。以自动驾驶为例，就需要捕捉非常大的视觉动态范围，并且比人眼更精准地识别暗处和明亮的图像细节，以保证行车及路人的安全。

· 更低的功耗。无论产业应用还是个人移动终端，都对功耗比较敏感，耗电、发热等问题都可能影响整体部署成本和用户体验，这就要求ISP的创新不能以能效为代价，以更好地满足数字化转型中的现实需要。

如此看下来，ISP的技术创新难度并不简单，需要技术人员一点一滴地突破，难怪能引发不小的专业讨论。

未来：ISP的技术展望

纵观极术社区中围绕玲珑ISP展开的讨论，广大开发者比较关心的话题，大多围绕在3A算法是否在ISP里运算，哪些场景下需要单独的ISP芯片，机器学习对ISP芯片的影响等等。

从中，我们也可以看到ISP芯片未来几个比较明确的创新方向。

一是3A算法的不断升级。

想要提升成像质量，3A算法即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)，起到了十分重要的作用。比如说，当传感器将图像信息传递给ISP芯片时，自动判断是否对明亮或暗处的像素采取行动，能够让计算机视觉系统做出更准确的判断。

以安谋中国本土团队自主研发的“玲珑”i3/i5 ISP 处理器为例，就通过3次曝光HDR，将一个场景的长时间、中时间、短时间曝光合成一帧，从而在逆光等宽动态情况下，对明暗区域都能够很好地记录，从而在宽动态范围、低光降噪等方面获得不错的表现。说人话就是，逆光拍摄相机也能看清你的美。

第二个技术趋势，是从集成向外置演进。传统ISP芯片被集成在处理器内，随着高像素、高画质的需求出现，CIS传感器的尺寸也变得越大，外置独立ISP在功耗上更具优势。不过，相比内置方案，成本更高、开发周期也较长，这就需要芯片厂商进行取舍。

第三个技术趋势，是ISP与AI的结合。将传感器信息转化为图像是一个复杂的过程，ISP往往有成百上千个不同的参数进行调整。而前面提到，视觉感知在各行各业中的应用越来越广泛，不同的镜头和传感器具有不同的特性，这时候为特定相机系统进行优化调整、开发针对性的芯片产品，就变成了一项极具挑战性的任务。所以将AI处理器的智慧分析能力与ISP的信号处理能力，能够达成更强大的成像效果。

由此则产生了第四个技术趋势，那就是定制化支持。如前所说，，ISP可应用场景越来越多，不同的场景对应着不同的能力需求，使得通用性的ISP难以全面通吃，这就要求IP开发厂商能够与服务垂直行业的开发者保持紧密沟通与及时响应，来打造更具灵活性、定制化的产品。

今天，中国正在以举世瞩目的速度进入到智能时代，被数字化的物理世界不仅仅是消费者手机中的一张张图片，还是各个行业智能机器“眼中”不可或缺的数字养料，滋养着整个中国的智慧水平。

从这个角度看，ISP芯片已经成为中国智能产业不可忽视、不容错过的一张底牌，等待着更多有识之士去探索和解密。