用芯弹一首《大加洛普舞曲》：从AI-ISP，透视vivo的双芯之路

Posted 2022-11-28 脑极体

在音乐史上，很多乐章都以极快的节奏，以及对演奏者超高的要求而闻名。比如李斯特的《大加洛普舞曲》S.219，就以拥有非常多的半音阶而著名，被誉为用手指跳的芭蕾舞。想要出色地完成它，乐手就必须双手紧密配合，实现速度与精巧的极致平衡。

对应到科技领域，我们会发现很多科技创新也依赖这样高速且精致的协作，尤其在芯片领域更是如此。软硬件之间的协同，架构逻辑的协调，不同硬件之间的协作，就像是一首节奏轻快的钢琴曲。

这些协作，让硬件的能力被充分释放，让不同产品之间产生差异化，让消费者最终得到期待的体验。“自研芯片”是如今手机市场中的关键词。vivo X80系列采用了天玑9000和自研V1+芯片的组合，被认为是这一趋势的开局之作。在V1+的基础上，双芯格局还能弹奏出怎样的乐章？双芯还能给消费者带来哪些悦耳的音色？答案似乎已经呼之欲出。

10月24日，vivo举办了影像战略发布会。期间，vivo对外发布了全新的AI-ISP芯片架构。有理由相信，新的ISP技术架构将成为vivo自研芯片道路上的关键一环，或将成为接下来的V2芯片，乃至全新旗舰机的技术护城河。

什么是AI-ISP架构？它又将为双芯方案带来哪些挑战？最终为消费者带来哪些价值？

让我们从AI-ISP的“音符”说起，一起来看看vivo是怎么把双芯片这首《大加洛普舞曲》，弹出独属于自己的旋律。

音符：AI-ISP带来的澎湃之声

对于消费者而言，他会反复关注芯片这个手机最底层硬件，是因为其直接决定着大量手机体验。

在手机芯片端，ISP起到了对成像输入质量进行提升，矫正阴影、校对颜色，并且完成一系列影像降噪、动态范围调整的任务。可以说ISP是确保手机影像能力的关键一环。

而vivo采取的独立ISP芯片战略，可以通过将大量影像算法封装到自研芯片中，针对性一系列主SoC芯片不易覆盖的影像任务，从而提升用户的影像体验。

什么是AI-ISP？

AI-ISP架构，可以说是将ISP独立芯片的能力进行了全面升级，完成了跨越式的技术迭代。传统的ISP，主要任务是批量处理影像数据。但其提升方案是相对固定、模式化的。但在消费者对影像质量有了更复杂、更严苛要求的今天，仅仅提供这样的影像提升能力显然是不够的。

几年以来，AI+影像成为了新的解题思路。AI算法可以智能化识别影像任务，从而提供更加复杂，更具差异化与个性化的影像提升方案。而AI能力的加入带来一个直接问题，就是传统的影像提升单元ISP并不具备AI算力。如果用传统ISP来结合AI影像算法，可能带来时延过大、能耗过高等问题。

而刚刚亮相的AI-ISP架构，可以说结合了AI技术与ISP处理单元的优势，相当于为ISP芯片加装了AI大脑，从而可以通过硬件直联的方式，将AI计算融入到ISP当中，完成影像任务的无缝缓冲和处理。最终让用户感知到影像处理更加自然、精细，同时更多复杂的AI算法也可以融入到手机影像单元当中。

AI-ISP弹奏出的这个澎湃音符背后，是一系列vivo在自研芯片领域的技术加持与能力升级。

乐谱：芯片架构升级触发的技术重构

区别于以往的ISP架构，vivo最新公布的AI-ISP架构，实质上是一系列芯片基础能力的整体升级。在几个关键领域，AI-ISP都采用了最新的自研技术。几项能力的叠加，最终实现芯片在AI任务处理上有着更强的表现，同时可以更有效应对游戏、影像任务的AI处理，升级双芯片架构在硬件封装AI算法方面的优势，最终将这一系列技术价值，在影像侧进行直接的体现。

具体而言，AI-ISP架构由三方面的技术能力组合而成。

·突破性的内存重构

在内存方面，AI-ISP架构应用了vivo自研的全新片上内存单元，可以极大提升数据吞吐速率。相比于业内常用的DDR架构内存单元，vivo的全新片上内存采用了成本更高的DDR-Less架构，从而可以有效解决传统内存高延迟、高功耗等一系列问题。配合硬化在芯片中的超大SRAM，实现了运算快、功耗低、延时低的特征，最终实现了数据吞吐速率高达1.3万亿bit/s的能力提升。高效率、低功耗的内存，是AI任务与影像处理能力结合的前提保障。

·DLA带来AI计算重构

在至关重要的AI计算领域，vivo的AI-ISP架构没有选择行业中通用的张量计算单元，而是选择了更适合做复杂计算成像运算的DLA加速器。

AI任务在运算国产中需要大量的数据比较与数据拟合，从而带来了一系列能效比方面的限制。采用DLA加速器的一大优点，就是可以大幅减少了数据的访问延迟，从而确保AI任务的流畅运行。同时，vivo还将封装在芯片中的算法与DLA加速器进行了联合定制，实现软硬件的协同优化，使得内核峰值能效达到16.3 Tops/w，最终获得了AI算力方面的业界领先水平。

·全新AI算法的加入

除此之外，vivo自研的ISP芯片还将加入全新的算法效果。比如新升级了AI-NR降噪算法、HDR影调融合（Tone mapping）、MEMC插帧算法等先进的影像算法，可以更好满足用户在夜晚拍摄、动态环境步骤等领域的影像需求。

其中，AI-NR降噪算法可以结合新的硬件能力，带来更好的夜景画面细节，提升了20%的夜景降噪效果；HDR影调融合（Tone mapping）算法可以配合电影级的3DLUTs色彩风格，满足专业用户的一级整体调色、二级局部调色的需求。在城市夜景下动态范围理论最大提升4EV；MEMC插帧算法则可以改善延迟问题。比如可以在1080p 60帧夜景视频的拍摄中，在在感光能力和动态范围方面获得升级。

据说，在AI-ISP的加持下，用户可以在下一代vivo旗舰机中，实现露营灯光下拍到天空的星星。那一刻的浪漫，就是AI-ISP谱写的小夜曲。

定音：等待V2芯片的芭蕾舞？

用户最关心的问题，肯定是我们究竟什么时候可以用到AI-ISP芯片架构带来的全新体验。从目前的爆料，以及vivo的新技术规律方面看，这个目标应该已经不远。根据相关爆料，vivo即将在X90系列中全机型实装自研芯片V2。作为新一代的vivo自研ISP芯片，V2就将采用AI-ISP的全新架构，在影像、游戏显示等方面带来全新的用户体验。

如果确实是这样的话，我们将看到vivo在自研芯片的进展非常迅猛，甚至可以说是将自研芯片升级，保持在了与旗舰机迭代一致的频率上。我们知道，硬件技术的迭代并没有软件技术那么容易。想要保持高频率的硬件升级，不仅需要提前战略规划，预判技术发展方向，更需要在工程领域投入大量人力物力。如果AI-ISP架构真的将在不久后通过V2芯片与用户见面，那么vivo将必然要解决一个关键问题：双芯联调。

双芯联调的“芭蕾”

近期以来，行业内对于双芯战略有了越来越多的关注和讨论，有一种声音认为，双芯本身并不是特别新颖的技术思路，产业门槛也不高。

这种说法有一定的合理性，但要看到的是，双芯的真正难度在于两颗芯片漫长、艰苦，且充满不确定性的联合优化。在双芯格局成为定势的环境下，双芯联调正在成为新的产业护城河。

客观上看，双芯架构不仅可以提升手机的整体性能，还是厂商获取产品差异化的一条关键赛道。通用SoC加剧的同质化现象，在很大程度上可以被双芯战略所打破，而这也是消费者非常喜闻乐见的。

既然双芯有价值，并且门槛没有想象中那么高，那么为什么vivo在这条赛道上取得了长足领先呢？这里的关键就是双芯联调。

从AI-ISP架构的能力表现上看，我们可以猜测，V2芯片在双芯联调上采取了更加灵活、先锐的策略。如果不能确保和SoC芯片达成非常精致的算力平衡、能力互补，V2芯片是不可能在算力与算法上采取如此大突破幅度的。

在联合调优方面，V2芯片还有很多故事可以发掘。就像再好的乐章，最终都需要指法和技巧来弹奏一样。AI-ISP架构的真正难点和不可替代性，在于大量细颗粒的联合调优工作作为支撑。

从AI-ISP架构的推出与应用，可以看出由vivo所探索、引领的双芯之路，是一条必须不断积累经验、关注具体问题的长期主义之路。

用芯片弹奏《大加洛普舞曲》的秘密，就在于千百次去重复、实验每一个音符。慢慢来，才会比较快。