HMS Core机器学习服务图像超分能力，基于深度学习提升新闻阅读体验

Posted 2022-03-31 华为移动服务

在移动端阅读资讯时，人们对高分辨率、高质量的图像要求越来越高。但受限于网络流量、存储、图片源等诸多因素，用户无法便捷获得高质量图片。移动端显示设备的高分辨率图片获得问题亟待解决。不久前，HMS Core新闻Demo App针对新闻垂域的阅读体验做了一系列更新优化，其中就包括图像超分。

图像超分辨率（Super Resolution）指的是从给定的低分辨率（LR）图像中恢复高分辨率（HR）图像的过程，是计算机视觉图像增强领域重要的研究方向。HMS Core新闻Demo App为解决用户观看新闻资料的过程中图片不清晰的问题，使用了机器学习服务的图像超分能力。用户在新闻阅读界面点击图片，可以看到图片菜单显示“使用ML服务进行图像超分”，再点击就能快速收获高质量图片。它还支持图片的下载和保存。同等大小的图片，通过图像超分后分辨率普遍提升100%~300%，能够有效解决图片因低分辨率而影响用户浏览体验的痛点。

技术背景

那么，HMS Core机器学习服务图像超分能力是怎样实现的呢？

一般来说，对于图像分辨率不足的问题，传统的解决方法主要是**基于插值的超分辨率重建和基于退化模型的超分辨率重建。

基于插值的超分辨率重建方法通常提供过于平滑的重建图像，是通过最近邻插值法、双线性插值法和双立方插值法来补充失去部分的像素细节，从而来增强图像的分辨率。

基于退化模型的超分辨率重建方法则是从图像高分辨率到低分辨率的降质退化模型出发，通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。

然而传统解决方法存在计算成本高、性能不稳定等问题。随着人工智能，尤其是深度学习在计算机视觉中的广泛应用，人们开始探索使用智能的方法来克服传统技术的诸多弊端，比如基于深度学习的超分算法。

基于深度学习的方法就是利用大量的训练数据，学习低分辨率图像和高分辨率图像之间某种对应关系。然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。

技术优势

HMS Core机器学习服务的超分辨率算法基于深度神经网络，依托硬件的神经网络加速器，提供了适用于移动终端的1x和3x的超分能力。1x超分是在分辨率不变的情况下去除压缩噪声，获得更加锐利、干净的图片；3x超分在有效抑制压缩噪声的同时，使用智能方法将其放大，令其分辨率更高，提供3倍的放大能力，得到更加清晰的细节纹理。

并且超分辨率算法依托华为手机强大的NPU芯片，对最大800x600的图片进行超分时，仅需不到600毫秒的时间，相比于纯CPU计算，速度提升了近50倍。超分辨率API的附加ROM、RAM消耗也非常小，内置于华为手机中，可以在有效减小应用程序尺寸的同时让应用更加轻便。

由此得知，HMS Core机器学习服务图像超分能力在计算机视觉中的广泛应用，具有高画质、高速度、超轻便的技术优势，可有效抑制压缩噪声，节省存储和流量。在图片分辨率不足的情况下，大大改善小图片放大浏览时的体验。

图像超分辨率除了在新闻阅读场景中提升阅读体验，还可应用于医学成像、天文观测、生物信息识别等领域，HMS Core机器学习服务图像超分能力也将持续进行技术革新，为更多行业提供实用高效的解决方案。

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee

关注我们，第一时间了解 HMS Core 最新技术资讯~