用芯弹一首《大加洛普舞曲》:从AI-ISP,透视vivo的双芯之路

Posted 脑极体

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用芯弹一首《大加洛普舞曲》:从AI-ISP,透视vivo的双芯之路相关的知识,希望对你有一定的参考价值。

在音乐史上,很多乐章都以极快的节奏,以及对演奏者超高的要求而闻名。比如李斯特的《大加洛普舞曲》S.219,就以拥有非常多的半音阶而著名,被誉为用手指跳的芭蕾舞。想要出色地完成它,乐手就必须双手紧密配合,实现速度与精巧的极致平衡。

对应到科技领域,我们会发现很多科技创新也依赖这样高速且精致的协作,尤其在芯片领域更是如此。软硬件之间的协同,架构逻辑的协调,不同硬件之间的协作,就像是一首节奏轻快的钢琴曲。

这些协作,让硬件的能力被充分释放,让不同产品之间产生差异化,让消费者最终得到期待的体验。“自研芯片”是如今手机市场中的关键词。vivo X80系列采用了天玑9000和自研V1+芯片的组合,被认为是这一趋势的开局之作。在V1+的基础上,双芯格局还能弹奏出怎样的乐章?双芯还能给消费者带来哪些悦耳的音色?答案似乎已经呼之欲出。

10月24日,vivo举办了影像战略发布会。期间,vivo对外发布了全新的AI-ISP芯片架构。有理由相信,新的ISP技术架构将成为vivo自研芯片道路上的关键一环,或将成为接下来的V2芯片,乃至全新旗舰机的技术护城河。

什么是AI-ISP架构?它又将为双芯方案带来哪些挑战?最终为消费者带来哪些价值?

让我们从AI-ISP的“音符”说起,一起来看看vivo是怎么把双芯片这首《大加洛普舞曲》,弹出独属于自己的旋律。

音符:AI-ISP带来的澎湃之声

对于消费者而言,他会反复关注芯片这个手机最底层硬件,是因为其直接决定着大量手机体验。

在手机芯片端,ISP起到了对成像输入质量进行提升,矫正阴影、校对颜色,并且完成一系列影像降噪、动态范围调整的任务。可以说ISP是确保手机影像能力的关键一环。

而vivo采取的独立ISP芯片战略,可以通过将大量影像算法封装到自研芯片中,针对性一系列主SoC芯片不易覆盖的影像任务,从而提升用户的影像体验。

什么是AI-ISP?

AI-ISP架构,可以说是将ISP独立芯片的能力进行了全面升级,完成了跨越式的技术迭代。传统的ISP,主要任务是批量处理影像数据。但其提升方案是相对固定、模式化的。但在消费者对影像质量有了更复杂、更严苛要求的今天,仅仅提供这样的影像提升能力显然是不够的。

几年以来,AI+影像成为了新的解题思路。AI算法可以智能化识别影像任务,从而提供更加复杂,更具差异化与个性化的影像提升方案。而AI能力的加入带来一个直接问题,就是传统的影像提升单元ISP并不具备AI算力。如果用传统ISP来结合AI影像算法,可能带来时延过大、能耗过高等问题。

而刚刚亮相的AI-ISP架构,可以说结合了AI技术与ISP处理单元的优势,相当于为ISP芯片加装了AI大脑,从而可以通过硬件直联的方式,将AI计算融入到ISP当中,完成影像任务的无缝缓冲和处理。最终让用户感知到影像处理更加自然、精细,同时更多复杂的AI算法也可以融入到手机影像单元当中。

AI-ISP弹奏出的这个澎湃音符背后,是一系列vivo在自研芯片领域的技术加持与能力升级。

乐谱:芯片架构升级触发的技术重构

区别于以往的ISP架构,vivo最新公布的AI-ISP架构,实质上是一系列芯片基础能力的整体升级。在几个关键领域,AI-ISP都采用了最新的自研技术。几项能力的叠加,最终实现芯片在AI任务处理上有着更强的表现,同时可以更有效应对游戏、影像任务的AI处理,升级双芯片架构在硬件封装AI算法方面的优势,最终将这一系列技术价值,在影像侧进行直接的体现。

具体而言,AI-ISP架构由三方面的技术能力组合而成。

·突破性的内存重构

在内存方面,AI-ISP架构应用了vivo自研的全新片上内存单元,可以极大提升数据吞吐速率。相比于业内常用的DDR架构内存单元,vivo的全新片上内存采用了成本更高的DDR-Less架构,从而可以有效解决传统内存高延迟、高功耗等一系列问题。配合硬化在芯片中的超大SRAM,实现了运算快、功耗低、延时低的特征,最终实现了数据吞吐速率高达1.3万亿bit/s的能力提升。高效率、低功耗的内存,是AI任务与影像处理能力结合的前提保障。

·DLA带来AI计算重构

在至关重要的AI计算领域,vivo的AI-ISP架构没有选择行业中通用的张量计算单元,而是选择了更适合做复杂计算成像运算的DLA加速器。

AI任务在运算国产中需要大量的数据比较与数据拟合,从而带来了一系列能效比方面的限制。采用DLA加速器的一大优点,就是可以大幅减少了数据的访问延迟,从而确保AI任务的流畅运行。同时,vivo还将封装在芯片中的算法与DLA加速器进行了联合定制,实现软硬件的协同优化,使得内核峰值能效达到16.3 Tops/w,最终获得了AI算力方面的业界领先水平。

·全新AI算法的加入

除此之外,vivo自研的ISP芯片还将加入全新的算法效果。比如新升级了AI-NR降噪算法、HDR影调融合(Tone mapping)、MEMC插帧算法等先进的影像算法,可以更好满足用户在夜晚拍摄、动态环境步骤等领域的影像需求。

其中,AI-NR降噪算法可以结合新的硬件能力,带来更好的夜景画面细节,提升了20%的夜景降噪效果;HDR影调融合(Tone mapping)算法可以配合电影级的3DLUTs色彩风格,满足专业用户的一级整体调色、二级局部调色的需求。在城市夜景下动态范围理论最大提升4EV;MEMC插帧算法则可以改善延迟问题。比如可以在1080p 60帧夜景视频的拍摄中,在在感光能力和动态范围方面获得升级。

据说,在AI-ISP的加持下,用户可以在下一代vivo旗舰机中,实现露营灯光下拍到天空的星星。那一刻的浪漫,就是AI-ISP谱写的小夜曲。

定音:等待V2芯片的芭蕾舞?

用户最关心的问题,肯定是我们究竟什么时候可以用到AI-ISP芯片架构带来的全新体验。从目前的爆料,以及vivo的新技术规律方面看,这个目标应该已经不远。根据相关爆料,vivo即将在X90系列中全机型实装自研芯片V2。作为新一代的vivo自研ISP芯片,V2就将采用AI-ISP的全新架构,在影像、游戏显示等方面带来全新的用户体验。

如果确实是这样的话,我们将看到vivo在自研芯片的进展非常迅猛,甚至可以说是将自研芯片升级,保持在了与旗舰机迭代一致的频率上。我们知道,硬件技术的迭代并没有软件技术那么容易。想要保持高频率的硬件升级,不仅需要提前战略规划,预判技术发展方向,更需要在工程领域投入大量人力物力。如果AI-ISP架构真的将在不久后通过V2芯片与用户见面,那么vivo将必然要解决一个关键问题:双芯联调。

双芯联调的“芭蕾”

近期以来,行业内对于双芯战略有了越来越多的关注和讨论,有一种声音认为,双芯本身并不是特别新颖的技术思路,产业门槛也不高。

这种说法有一定的合理性,但要看到的是,双芯的真正难度在于两颗芯片漫长、艰苦,且充满不确定性的联合优化。在双芯格局成为定势的环境下,双芯联调正在成为新的产业护城河。

客观上看,双芯架构不仅可以提升手机的整体性能,还是厂商获取产品差异化的一条关键赛道。通用SoC加剧的同质化现象,在很大程度上可以被双芯战略所打破,而这也是消费者非常喜闻乐见的。

既然双芯有价值,并且门槛没有想象中那么高,那么为什么vivo在这条赛道上取得了长足领先呢?这里的关键就是双芯联调。

从AI-ISP架构的能力表现上看,我们可以猜测,V2芯片在双芯联调上采取了更加灵活、先锐的策略。如果不能确保和SoC芯片达成非常精致的算力平衡、能力互补,V2芯片是不可能在算力与算法上采取如此大突破幅度的。

在联合调优方面,V2芯片还有很多故事可以发掘。就像再好的乐章,最终都需要指法和技巧来弹奏一样。AI-ISP架构的真正难点和不可替代性,在于大量细颗粒的联合调优工作作为支撑。

从AI-ISP架构的推出与应用,可以看出由vivo所探索、引领的双芯之路,是一条必须不断积累经验、关注具体问题的长期主义之路。

用芯片弹奏《大加洛普舞曲》的秘密,就在于千百次去重复、实验每一个音符。慢慢来,才会比较快。

以上是关于用芯弹一首《大加洛普舞曲》:从AI-ISP,透视vivo的双芯之路的主要内容,如果未能解决你的问题,请参考以下文章

怎么用FL水果10把歌曲加工成舞曲。。

有啥软件可以把普通歌曲转换成DJ版歌曲?

突破计算机视觉极限,芯原AI-ISP技术带来创新的图像增强体验

钢琴就好比是我的骨头

期待筷子兄弟“小苹果”的背后

Taylor Swift 中有没有一首歌音乐一开始就是OH OH OH OH ,很好听知道的告诉一下,谢谢