自研ISP芯片背后：手机厂商的目光在影像之外

Posted 2021-10-17 脑极体

互联网界最热闹的大会——世界互联网大会在今天开幕，想要了解整个互联网最新的变化和趋势，大家伙这几天可别错过了。今天比较值得看的环节之一就是“全球科技成果发展风向标”的年度领先科技成果奖颁布，这些奖项基本上是本年度最能代表前沿优质技术成果的展现。本次评选是从全球多个国家的300余项成果中挑选，涉及5G、量子计算、高端芯片、高性能计算机、网络架构等多个领域，最终选出14项领先的互联网科技成果。

笔者注意到今年有个“全球首个开源神经网络处理器指令集架构（NPU ISA）”的成果获得殊荣。在半导体领域内，安谋科技作为行业领头羊之一是媒体和行业关注的重点对象，凭借在智能计算芯片行业的创新，与合作伙伴推出全球首个开源神经网络处理器指令集架构（NPU ISA），再次摘得“世界互联网领先科技成果”奖。该NPU ISA在中国首发、全球开源，是人工智能领域第一个开放的ISA，可以向AIoT、自动驾驶、智能制造等应用场景提供可定制化的智能计算芯片。

看完互联网大会的颁奖内容，回到半导体领域的学习中，对于时刻需要关注前沿科技信息的码字工来说，必须要有几个好一点的优质信源，极术社区是我们码字工最常逛的科技社区之一了。在里面浏览一番半导体的信息，总会get到新知，收获一些灵感，在社区人工智能板块有XPU、NPU、AI芯片、ISP等多种芯片分类内容，受到ISP分区内容的启发，今天就先从ISP芯片聊起。

读者朋友们可以发现，近日国内好几个一线手机厂商发布的新品手机比如小米和ov，其中拍摄功能宣传的要点中都提及了搭载自家设计的ISP芯片，此前很多厂商都是以购买第三方高通、联发科等厂商芯片为主，现在国内一线厂商都开始走自研之路。是什么原因驱动一线手机厂商纷纷自研？做ISP是厂商选择自研SoC的开始吗？ISP芯片目前市场的竞争态势和未来趋势是什么样式？这是本文想要讨论回答的核心。

自研ISP考量的价值

ISP（Image Signal Processor，图像处理器）是手机芯片系统中的重要组成部分，负责图像处理部分。ISP芯片一直是作为SoC芯片内置的模块存在，与CPU、GPU等单元集成在系统里一起出售，基本上可以满足大部分场景使用。随着消费者的需求变更与厂家差异化打法的变化，很多厂商发现将ISP作为独立单元进行图像的处理，可以实现自主可控。 

此前大家都在高通和联发科这些芯片厂商制定的参数规则里面游走，只能在集成的ISP模块特性进行适配和调整，此外ISP性能也受芯片整体升级规律的限制，更新的频率不高，影像性能的参数在同一个框架下的结果就是其手机影像变化和功能日趋同质化。

对于消费者来说，除了在屏幕、快充以及整机性能外，影像功能可谓是选择手机的重要影响因素之一。在硬件和算法没有什么大的进步情况下，在ISP影像方面上面进行手机影像性能的提升和创意是厂商们一致的想法。举例来说，想要提升手机照片的成像质量，搭载安谋科技中国本土团队自研的“玲珑” i3/i5 ISP芯片，就可以在一些极端场景比如逆光、暗室等宽动态环境，对明暗区域进行很好地记录，从而在宽动态范围、低光降噪等方面最终获得不错的成像。

拍照功能与视频图像等质量是决定消费者体验的重要参数，我们也在各大手机品牌的新品宣传中见识到对其自家拍摄性能的极尽展示，如何以差异化功能获取用户是每家手机厂商睁开眼睛就要思考的问题。想要实现性能和体验的差异最大的问题就是要打破被ISP制约的情形。而苹果、三星、华为等自研芯片的手机厂商以自己差异化功能的市场表现赢得高端市场用户的青睐，这也给其他国内手机厂商启示与强心剂：自研芯片是难而正确具有长远价值的事情，必须要去做。

小米、ov等厂商无论是在新产品中搭载自家设计的ISP芯片还是在新闻中不断宣传造ISP芯，都在向市场释放自研ISP手机芯片的决心，驱动手机厂商选择自研ISP手机芯片主要有这四方面的价值考量：

1、手机厂商可以发挥的差异化空间增大，ISP芯片的性能决定了手机影像功能的差异化。相对于芯片厂商高通与联发科等，手机厂商距离消费端更近，对功能场景与趋势易把控，手机厂商自研ISP芯片可以与市场的需求变化调整同频，其影像功能也就不再限于芯片厂商的芯片性能，手机厂商可以根据市场情况发挥差异化性能的优势。

2、避免供应链的风险。华为手机市场份额的减少是其他一线手机厂商不想再经历的风险，无论是贸易摩擦还是地缘政治、黑天鹅疫情等风险，自研ISP芯片的选择让手机厂商可以减少一些被不确定因素扼制的风险。

3、成本的优势，手机厂商的出货量动辄数十万、百万，自研ISP芯片的话可以绕过其他芯片厂商的定价权，减少芯片成本的支出。

4、 ISP相比SoC来说，技术的实现难度相对较低，花费的精力时间等成本更低，更容易实现。

手机厂商选择自研ISP芯片无论是出于成本还是产品功能方面的考虑，都是让自身在这个白热化竞争的市场能有更好的表现，市场中有便宜好用的ISP芯片，而商家花费心血时间去自研ISP芯片也不仅仅是革新影像功能的目的，厂商们在积累芯片技术的前提下，更多的是战略层面的考虑：未来可能向手机的心脏器件——SoC芯片进击，从ISP芯片的突破口中逐步切入到SoC的研制中去。

从ISP循序渐进到SoC

自研ISP芯片只是手机厂商的打样，野心家的目光在影像功能外，对于手机来说，核心的核心就是芯片，一旦出现任何不确定因素被卡喉咙，企业就面临生死存亡，因为贸易摩擦带来的芯片卡喉，所有厂商都有危机感，自研芯片是需要战略层面的出击、布局。

小米早在2014年就开始布局自研芯片，成立专注手机芯片研发设计的松果电子子公司以服务手机SoC芯片，在2017年发布了首款手机SoC澎湃S1，在小米5C手机中落地，但S1在性能、功耗等方面都有明显不足。

在SoC芯片的折戟让小米更加务实，在2019年小米开始研发ISP芯片，今年3月发布的旗舰机小米折叠屏手机MIX FOLD搭载了小米自研的ISP芯片澎湃C1，能够实现更好的3A（自动对焦，自动白平衡，自动曝光）处理，自研ISP+自研算法成为这款旗舰手机宣传的卖点之一。小米的SoC芯片研发之路满途坎坷，松果电子最终也重新进行了组织架构的调整，一部分团队继续保留，一部分团队分拆出去进行IOT芯片的研发。但澎湃C1对小米来说的是一个新的转折，小米的ISP芯片架构师左坤隆博士此前在采访中表示ISP的研发只是起点，小米还是要回到手机心脏器件SoC的研发中，而这也是小米对手机芯片的未来战略规划。

一线手机厂商ov也不甘人后，分别在自研芯片道路上开始重金投入。9月6日消息，vivo率先发布自家自研的ISP芯片V1，这是vivo自研的首款影像芯片，团队300人经过两年的研发ISP芯片才得以面世。在2019年vivo也曾与三星联合研发了Exynos 980 5G SoC，无论是自研ISP还是与三星联合研发SoC，vivo都开始在芯片技术积累的道路上铺垫，至于未来是否向SoC进发vivo表示还不能确定，但芯片技术先行的趋势，多手准备总是没有错的。

OPPO在芯片研发方面，于2019年就成立子公司ZEKU，据悉现下团队人数已经两千人，部分员工来自华为海思、紫光展锐和一些台湾半导体企业。2020 年 2 月 OPPO 内部发文《对打造核心技术的一些思考》，首次提到芯片计划的代号——“马里亚纳计划”。OPPO将手机核心的芯片作为未来战略思考的方向，只研制相对SoC来说简单点的ISP芯片还是有点浪费这些资金人力的投入，OPPO的野心不止如此。成立两年的子公司ZEKU也有做出成绩，其ISP芯片据传已经在今年初流片，未来可能会搭载2022年发布的Find X5 手机上。除了ISP芯片外，OPPO方面也在同步推进研发SoC的计划，以掌握手机核心技术未来或替代部分高通和联发科芯片。

ISP芯片向SoC芯片进发的路坎坷难行，两者从技术的维度上是数量级的差距，ISP只是单一的图像管理单元，而SoC芯片会集成CPU、GPU、NPU、ISP通信基带等模块，模块的设计与模块之间的适配涉及的技术很复杂。从时间的维度上来看，我们可以发现ISP芯片从无到有的实现基本上是两年多的时间，新进入的手机厂商就可以拿出成品进行部分投放使用，但是SoC芯片的诞生到使用跨越的时间就需要新手十年起步的尝试。SoC芯片的打磨可谓是跟攀登高海拔的雪山一般，一步步的脚印和一级级的台阶才能攀顶成功，没有跳跃发展一口气吃成胖子的可能。

虽然SoC的研发之路坎坷，参照海思的成功发展至少需要十年的时间耕耘，但是后发的手机厂商也在积累技术的道路上开始耕耘。无论是当下ISP芯片的自研，还是未来向着SoC芯片进军，都需要时间的加持，芯片自研是一场旷日持久的战斗，资金、人才、技术、市场等因素缺一不可。

ISP芯片的竞争势态

在ISP产业版图中，除了现在正在崛起的自研ISP手机厂商苹果、华为、三星等，主要有三类竞争势力，一种是高通这类SoC芯片供应商，ISP模组已经被打包入内进行销售，一类是ARM这类提供IP授权的供应商，还有一种ISP模组设计服务提供商。

现下，ISP芯片市场仍然是以高通三星联发科占据大部分市场份额为主，手机厂商们的自研芯片只是初尝试给整个市场并没有带来大的冲击，但是未来等到手机厂商的技术日趋成熟，开始广泛应用到自家的产品，还是会给产业链造成一些影响：

1、手机厂商在自研芯片方面，主要是在芯片制造的前端进行研发，比如IP和设计端的再研发，未来的发展会将占据一部分芯片厂商的ISP市场份额。

2、芯片厂商在IP方面拥有专利特权，自研芯片的手机厂商在一些IP专利上面无法绕过去，仍然会依赖芯片厂商，呈现双方共同竞争但双方分别占据市场的局面，因为芯片厂商的先发优势，市场份额还是芯片厂商占据较大为主。

3、手机芯片的自研给芯片厂商带来革新意识，激发芯片厂商对于手机芯片的研发创新和护城河的拓宽，无论是芯片的性能还是价格都会因为这个趋势有新的变化。

未来ISP的竞争有无大的市场变化，还要看这些自研ISP手机厂商的技术发展，几乎包揽整个手机市场的一线厂商出货量不容小觑，虽然现在大家已经有自家的ISP芯片，但也只是小剂量的尝试以展示肌肉，并没有进行大规模的应用，规模使用产生的量变才会给整个ISP芯片市场带来影响的质变。在对ISP市场的梳理过程中，我们也发现ISP芯片的未来走向趋势，与AI视觉处理技术进一步地结合协同发展。

手机市场同质化的竞争白热化到不能再白热化，其影像功能的像素已经突破亿级，硬件与算法短期内没有大的浪花儿翻腾，手机厂商无论是从ISP开始突破还是未来逐步切入到SoC的深海，都释放出新的信号和思考变化：开始回归到手机的本质核心技术，如何构建底层的核心能力是未来大家赢得市场竞争的关键砝码。现在投入的数亿级资金，成百上千的高端人才等成本都是为提升未来竞争力，尽早卡位未来的市场。

手机作为消费电子的代表领域，这个下海芯片的豪赌竞争势态也不断反映出现下厂商在这个焦虑下的市场中想要通过抓住核心技术去变革，手机厂商的产品、商业模式、组织架构都会随之迎来一些新的调整。无论最终的结局走向如何，这个路途艰难的选择未来都会改变手机、芯片领域的市场格局。对于消费者来说，充分的市场竞争带给我们丰富的产品，我们也会跟着享受越来越多各有特色的电子产品。