帧彩视界之Pseudo HDR：为普通SDR设备用户提供HDR体验

Posted 2023-04-26

参考技术A

HDR，这个概念在近几年被炒的非常火热，从2015年开始，HDR作为一种显示标准，在电视行业开始迅速蔓延，并逐渐在中高端手机、平板电脑等移动终端上应用。

不是所有设备都支持HDR视频解码和显示，因此，对于普通SDR设备用户而言，要想获得类似HDR的视觉效果，Pseudo HDR这项技术变得尤为重要。

大家所熟知的几大TOP视频平台中的VIP尊享画质，便采用了类似技术。此类尊享画质视频能够呈现出令人惊艳的亮度、对比度和色彩，无论是高光还是黑暗处的细节都一览无余，给人栩栩如生的感觉。

在今年10月的Demuxed峰会中， 微帧 科技 联合创始人兼首席科学家Zoe Liu 重点向大家介绍了Pseudo HDR技术的高效实现，此项技术目的是为那些不支持HDR播放的SDR设备，提供接近HDR效果的视觉体验。

其中一项通过增强画质来提高QoE的方法是，在将视频送入编码器/转码器以进一步分发之前，实行Pseudo HDR预处理，它能够让输入的视频保持相同的比特深度 （比如8 bit） ，旨在优化视频中超暗或者超亮区域的细节，以生产更具视觉冲击力的内容，最终呈现在用户端，而无需特殊渲染工具，例如支持HDR的设备。

Pseudo HDR技术背后的算法主要是基于限制对比度自适应直方图均衡（CL-AHE），对一个视频帧中的不同区域推导出不同的直方图均衡化转换函数，以增强那些更亮和更暗区域的对比度，有了对比度的限制，可以防止噪音被放大。

现有的CL-AHE方法主要研究并应用于静止图像，而微帧的目标是开发一种适用于视频的Pseudo HDR技术，以增强视频用户体验质量。

目前，微帧采用了CL-AHE作为视频转码前预处理的一部分，既充分利用转码服务端丰富的计算资源，又无需依赖最终渲染设备，达到用户一致的视频增强效果。

对视频进行Pseudo HDR预处理的潜在挑战如下：

1、超亮或超暗区域呈现的噪声，如压缩伪影噪声，很容易被AHE转换放大，从而影响视觉效果。

2、保持视频的时间一致性是非常关键的，因为视频不是简单的静态图像，如果在对比度增强的像素变换中不考虑时域特征，跨帧闪烁等伪影，尤其是黑暗区域中的伪影就会变得非常明显，从而降低整体视觉体验。对视频来说，时域的平滑度和流动性甚至比空间域的每帧视觉质量更为重要。

3、转换后的视频可能会大很多，比如，源视频黑暗区域的边缘和精细纹理可以在原始SDR内容中被压缩，视频质量不会降低太多。但经过Pseudo HDR处理后，会暴露出更多更精细的纹理，因此需要分配更多的bits才能获得足够好的视觉体验。

视频加载中...

Pseudo HDR始终是微帧致力推动的一个创新方向，为了解决上述问题，让视频用户享受最佳的视觉体验，微帧实施了以下方法：

1、对于对比度变换后，超亮区域可能产生的更亮画面结果，微帧开发了 基于亮度级别的自适应方法来抑制这种现象， 同时保持其他区域的正常转换。

2、 AHE经常导致皮肤区域的颜色失真，针对此现象，微帧研发了几种方式进行抑制， 如快速人脸检测、皮肤检测和基于颜色的区域分割， 从而促使Pseudo HDR将皮肤区域与其他区域区分开，并应用特定的对比度变换来保持准确的肤色。

3、 相邻帧间对比度变换后，更精细的纹理会被过度放大，因变换不一致导致的闪烁或闪烁伪影，在超暗区域中出现的频率会更高。 微帧针对这些区域进行了精细化检测，并应用自适应联合空间和时间滤波来约束时域中的差异，提高了变换后相邻帧之间的一致性。

4、 应用Pseudo HDR处理，很可能会导致码率增加20%以上。除了更精细的纹理会被过度放大，还可能会出现条带伪影，源视频的现有压缩伪影也可能会被夸大，这些都会让编码效率大打折扣。 微帧在ROI检测、去噪和去色带（debanding）等方法的应用下，不仅能改善Pseudo HDR处理后的视觉伪影，还可以衰减视频中的高频分量，从而大大降低码率。

视频加载中...

左：源视频，相同时长TS片段总体码率 8250 kb/s

右：微帧Pseudo HDR处理结果，相同时长TS片段总体码率 4536 kb/s

5、 Pseudo HDR处理过程可能会增大计算复杂度、造成更多的延迟，因此， 微帧在Pseudo HDR处理中开发了一系列的方法，以服务不同的用户场景，其中每个预设对应了一组算法参数，便于生成计算复杂度(延迟)、视觉质量和码率等多种联合性能。 当然，Pseudo HDR的预处理模块也可以与编码器相融合，结合微帧的编码优势，可以让视频画质更好，码率更低。

无匠难有品——HDR Image Analyzer只为匠人服务的HDR分析工具

HDR 制作需要一个可靠的、可预测的工具来监控和分析工作过程中的所有步骤，这样可以确保艺术视觉从摄像机端到最终用户端的顺利展现。AJA HDR Image Analyzer 的意义就是可以确保您从采集、传输到交付 HDR/SDR 素材过程中，所有技术选择都处于您的控制之中。

针对 4K/UltraHD/2K 再到 HD，HDR Image Analyzer 可针对 HLG、PQ 和 Rec.2020 等最新的 HDR 标准提供全面、有效的实时分析。与 Colorfront 合作开发的 AJA HDR Image Analyzer，支持从摄像机 LOG 格式到 SDR (REC709), PQ (ST 2084) 和 HLG 大量的输入格式，提供 BT.2020 和传统的 BT.709 色彩饱和度支持。具备 4x 3G-SDI 输入和输出以及 DisplayPort 端口的 AJA 硬件产品可提供完美的性能和出色的可靠性。

丰富的工具用于 HDR 生产制作, 后期, 品控和分析

HDR Image Analyzer工具包括波形、直方图、矢量显示器监看，再加上一系列基本的图像分析功能，比如：nit亮度表、超出色域错误颜色模式、错误日志、提取像素灰度值、分屏框架、线性模式和音阶测量等。HDR Image Analyzer还内置了针对流行摄影机颜色空间的支持，包括ARRI®, Canon®, Panasonic®, RED® 和 Sony®。

现在的摄像机自身就具备HDR功能，传感器可以提供大范围的动态范围，对于直播事件、录制和播出，监测用于交付的HDR动态范围和色域输出是至关重要。因为对摄像机的输入格式和 SDR、HLG、PQ 多种输入的支持，HDR Image Analyzer 解决了 HDR 监看的问题，同时也可以用其强大的工具集，以文件形式自动生成带有时间戳的错误记录，确保你所生产的素材有符合预期。

广泛的输入:LOG,  HDR 和 SDR

高动态范围和宽色域以各种各样的格式出现，AJA HDR Image Analyzer 支持如下:

摄像机支持:

• ARRI®

• Canon®

• Panasonic®

• RED®

• Sony®

动态范围输入:

•  SDR (REC 709)

•  PQ (ST 2084)

•  HLG

色域空间:

•  BT.2020

•  BT.709

3G-SDI 支持:

•  4x 3G-SDI 最高 4K/UltraHD 60p

• SDI 信号自动检测

灵活的监看和分析：1RU 机架式设计风格

HDR Image Analyzer 的1RU机架式设计风格使其可适应各种工作环境，4x 3G-SDI 最高支持 4K/UltraHD 60p 的输入和传输。

• 直播

• DIT

• 播出监看

• 后期

• 质量控制（QC）

• 最终 HDR 母带制作

监看、分析、记录结果

超精密的UltraHD用户界面用于显示原生分辨率图像，对于精确的分析您的视频素材至关重要。作为您工作流程中必要的工具，AJA HDR Image Analyzer拥有超高的品质。

• 波形图

• 直方图

• 矢量图

• 色域

• Nit 亮度等级

• 基于文件形式带时码的错误日志

• 数据分析器与先进的像素选择器

• 先进的带容错的超出色域和超出亮度范围检测

界面与工具

Camera Log Inputs —— 摄像机 Log 输入：HDR Image Analyzer 支持一系列摄像机 LOG 格式的直接输入，允许世界顶级的摄像机制造商直接连接，并为生产制作提供实时分析。

Video Resolution —— 视频分辨率：通过 Video-Resolution 菜单，快速设置您的视频分辨率，轻松访问RGB，YCbCr和Quad split vs 2SI配置。

Choose Setups —— 选择设置：在项目和配置之间移动时，设置可以被保存和调用，以便快速配置。

Scene Capture —— 分析结果截图：捕捉的场景可以被快速调用和保存，并与其他人共享，以便直观的表现需要解决的任何问题。

Color Space —— 色彩空间：可以使用几种不同的色彩空间进行分析，包括709，P3，XYZ和 2020，以及摄像机原生的色彩空间。

Waveform Lumi Color：HDR Image Analyzer 提供一系列波形表示视图，包括Waveform Lumi Color。Waveform Lumi Color在项目的色彩空间中提供亮度和色彩的完美结合。

Vectorscope —— 矢量图：矢量图显示视频帧中每个像素的颜色饱和度，圆圈的中间表示较低的饱和度，圆圈的边缘表示较高的饱和度。

Vectorscope Targeting —— 矢量仪目标定位：矢量显示仪另外提供缩放功能和肤色线，其值可以根据需要手动设置，对于确保序列工作和摄像机匹配的一致肤色结果特别有用。

Whitepoint —— 白点：HDR Image Analyzer 允许您设置与手头项目相关的白点。在DCI，D65之间选择或只是关闭。

CIE XY Gamut View —— CIE XY 色域视图：在HDR模式下，CIE XY色域视图可用于检查编码颜色，以及他们是否在颜色范围的有效限制范围内。当在Rec.2020色彩空间中工作时，这是相关的，其中实际像素应限于P3色域。

False Color – Gamut Warning —— 假色-色域警告：超出色域虚假色彩模式可清晰直观的显示图像中可能存在问题的区域。结果可以自动保存在您记录的文件中，以满足QC需求。

Pixel Picker —— 像素选择器：精度是关键，HDR Image Analyzer使其变得简单。在您的素材上滑动鼠标并使用PixelPicker来读取精确像素的Nit级别，十六进制或十进制代码值。

Logs —— 日志：HDR Image Analyzer 可以检测 HDR 事件中的 P3 色域违规和亮度违规，并在日志文件和屏幕上记录时间戳。然后，可以根据需要收集日志文件，并与您的团队共享。

Timecode —— 时间码：时间码可以叠加在屏幕上，以帮助快速识别场景或镜头中特定时刻的任何关注区域。

Audio Metering —— 音频分析：包括一个音频电平表，最多16个通道的计量监控和峰值DB电平显示。音频相位还可以配置为 2-Ch（立体声）或 8-Ch（环绕声）音频。

Analyzer Gain —— 分析仪增益：Analyzer Gain允许您增加或减少显示器的增益，让您更容易分析比较暗的视频或场景。