北京冬奥科技系列：色彩鲜活灵动的 HDR Vivid 技术

2022.02.24

写在前面：北京冬奥会赛事渐入佳境，中国队已获得6金4银2铜（截止到2月15日）。自开幕以来这届冬奥会给人留下了很多精彩的瞬间，曝光了不少感人的体育故事。四朝元老徐梦桃霸气拿下中国第5金，天才小将苏翊鸣勇夺第6金，中国张嘉豪和马耳他选手“豆包女孩”珍妮丝的“一个人的奥运会”，都充分展示了乐观向上，自我突破，永不言弃的体育精神。作为冬奥官方转播商，我们通过技术创新给观众带来更佳的观赛体验，前两期和大家分享了第三代数字音视频编解码技术（AVS3）和暖心的实时智能字幕，接下来跟大家聊聊我们应用的又一硬核技术HDR Vivid，让精彩瞬间呈现效果更鲜活灵动。

为了将2022冬奥冰雪盛会更鲜活灵动地呈现在观众眼前，我们将我国自主知识产权的高动态范围的视频技术标准（HDR Vivid）应用到北京冬奥会赛事直播。菁彩HDR (HDR Vivid)，与传统的标准动态范围（SDR）相比，在位深、色域、最大亮度、动态元数据及其调节、智能映射等多项技术参数上均存在较大优势。在4K/8K高分辨率下，HDR Vivid的峰值亮度最高可达到10000尼特；基于BT.2020的广阔色域，最多包含颜色达到687亿种。这是HDR Vivid技术首次通过软件解码方式在移动端试验直播业务。我们通过优化视频解码器，采用CPU多线程协同，视频码流解码与HDR Vivid关键元数据提取同时进行的方式，探索了一种移动端HDR Vivid软渲染的解决方案，拓展了HDR Vivid标准的应用范围。并针对冰雪运动画面进行渲染优化，使高亮的冰雪画面层次更丰富，画面质感更细腻，运动员主体更突出，还原更真实的视觉效果。

图1 HDR Vivid 效果图

本文带着大家了解一下 HDR Vivid 的相关技术。在具体介绍 HDR Vivid 之前先了解一下 HDR 技术。

HDR在计算机图形学与电影摄影术领域中是用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。目的是正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。

这项技术最早被应用于摄影，可以使暗场景变得更明亮更通透。后来超高清电视论坛（Ultra HD Forum）将HDR技术列为UHD电视标准需要支持的技术之一。2020年，苹果公司宣布了iPhone 12系列手机支持HDR视频，实现了HDR向移动手机端的扩展。目前，电视与移动端使用的HDR技术标准主要包括：Dolby Vision，HDR10，HDR10+以及HLG(Hybrid Log-Gamma)等。这些技术标准中定义了相比传统标准动态范围图像（SDR）更大的亮度范围，更广的色域，更大的比特深度，采用不同的伽马校正的转换函数，新的编解码方式。

2020年9月，中国超高清视频产业联盟 (CUVA) 正式发布了 HDR Vivid 技术团体标准，旨在提升超高清视频核心关键技术标准影响力，快速推动超高清视频产业发展。

总体讲，HDR视频的光亮效果可以更接近人眼对于物理世界的感受，色彩也能更贴近于人眼看到的实际生活场景。如下图所示，与左边的SDR对比，HDR视频有更好的亮部和暗部细节，因而效果更真实自然。

图2 SDR HDR效果对比示意图

HDR 技术的基本原理

颜色是源自光的反射或者自身发出的光芒，那光真的有颜色吗？牛顿爵士在1671年写道：“准确地说，光是没有颜色的，除了能引起这种或那种颜色的特定能量和配置外，没有其它成分。”

我们看到的颜色是眼底的感光细胞对光源中所携带的信息感应而产生的颜色的感觉。如下图，看上去感觉上同为白色的不同光源分析得到的光谱实际差异很大。所以，颜色是客观的光在人眼的主观反应，其度量不是靠简单的颜色分类就能完成的。

图3 日光、白炽灯、荧光灯，同色不同谱

那人类是如何科学度量颜色的？下面我们从光度学和色度学两方面展开分析。

光度学

最开始，摄影/摄像是黑白的，因此没有色度，主要是靠量化强度和亮度来实现的。光度学就是对在可见光波段内，考虑到人眼的主观因素后的相应计量学科。光度学是1760年由朗伯建立的，且定义了光通量、发光强度、照度、亮度等主要光学光度学参量，并用数学阐明了它们之间的关系和光度学几个重要定律，如照度的叠加性定律、距离平方比定律、照度的余弦定律等，这些定律一直沿用，实践已证明是正确的。

最主要的指标是光亮度，概念是单位投影面积、单位立体角发出的光通量，单位为尼特（nit）。光亮度是一个叠加人眼感受的计量单位，单位为nit。可以表征视频内容的明暗程度。

色度学

后来随着技术的发展，摄影和摄像支持彩色的采集和呈现，因而引入了色度学来完善对颜色的科学度量。

最开始是基于三色理论， 20世纪20年代，学界发起了一系列颜色匹配实验，实现色度的量化。后来国际照明委员会（CIE）基于他们的实验给出了CIE的各种关于颜色的结论和标准。

直接的实验结果（CIE1931RGB）会存在负值，用起来不方便也不易于理解，因此要进行数学转换，从三维的 RGB 转换成了二维的RG，但是直接转换结果存在负值不方便读取。用假想的三个原色 XYZ 代替 RGB 系统的三原色做了坐标变换，形成了我们最常见的 CIE1931 x-y 色度图。

这是理论上人类所能看到的色域的全集，再结合前面介绍的光亮度的度量指标，SDR和HDR都以此作为标准基础。

HDR 的核心特征

早期 SDR 标准的色域（BT.709）和亮度范围（100 nit）都相对较小。随着技术的进一步发展，SDR 标准已经不能满足当前展现更真实的效果的需求，HDR技术应运而生。HDR视频有三个核心特征：高动态范围、宽色域、高位深。

1. 高动态范围

与传统的 SDR 相比，可以显示更大的亮度范围。例如白天用在室内对着窗户拍照，就会发现拍摄清楚室内，窗户就会出现过曝；反之，拍摄清楚窗户的部分室内的部分就会显得非常昏暗。这种现象就是动态范围不足导致的。下图说明了人眼能够感受到的最亮和最暗的范围，以及 HDR 和 SDR 定义的亮度范围。

图5 HDR和SDR定义的亮度范围示意图（来源LiveVideoStack）

2. 宽色域

HDR 能够表示比现行的 SDR 视频系统更宽的色彩范围。SDR视频采用的是BT.709的色彩空间，只能涵盖CIE 1931色彩空间的35.9%，而采用BT.2020的HDR视频占比可以达到75.8%。这样在显示器上呈现的图像与实际物理世界更加贴近。

图6 HDR色彩容积空间和SDR的对比

3. 高位深

传统的SDR视频是用8 bit位深来表示，BT.2020 标准提高到了 10 bit /12 bit，从而使灰阶过渡更加平滑，可以提升图像的细节表现，这意味着图像具有更加丰富的颜色表现。

下面讲一下HDR实现应用的光电转换曲线。

HDR视频通常使用两种标准格式实现光电转换，如图7所示。分别为 HLG（BBC 基于 ARIBSTD-B67 标准），和 PQ 标准格式（Dolby 基于 SMPTE ST.2084 标准）。对比两种标准，HLG 格式允许输出亮度从 0.01 到 5000 尼特左右且具有兼容 SDR 的优势，PQ 格式允许输出亮度水平从 0.0001 尼特到 10,000 尼特。

图7 PQ和HLG标准参数对比

SDR、PQ 和 HLG 的光电转换曲线对比如图8中所示，伽马2.4是 SDR 光电转换曲线。相比于 SDR 的转换曲线，PQ 和 HLG 在低光照区域和高光区域都做了非线性扩展，具有更高的动态范围。多种标准为行业提供了不同场景的解决方案，但是为行业发展带来了不便。

图8 SDR，PQ和HLG光电转换曲线对比

HDR Vivid 技术背景

受国际环境影响，国家高度重视超高清产业的健康安全、可持续发展，出台了一系列政策和措施支持自主可控的超高清技术的落地应用。然而现阶段 HDR 技术产业落地的挑战较大，主要体现在三个方面：一是部分技术方案的专利费用高导致产业链成本居高不下，支持的设备未形成规模，生态呈现碎片化。二是 HDR 多种技术标准共存，标准之间的兼容性较差，不能覆盖主流终端的适配、认证及测试过程，导致终端呈现效果差异明显，用户难以获得一致的视觉体验。三是传统 HDR 制作流程复杂，应用 HDR 技术的超高清片源匮乏，高质量片源供给不足，超高清频道专区少、时长短，用户侧的超高清需求被抑制。基于以上背景，菁彩 HDR（HDR Vivid）技术标准应运而生。

对比业界封闭的 HDR 技术，HDR Vivid 技术标准是一个更加开放的、具备产业安全要求的技术标准和方案，更加适合超高清产业生态各方进行端到端的产业部署。

图9 HDR Vivid 产业部署示意图

HDR Vivid 技术标准优势

从终端的整个显示适配过程来看，首先需要输入视频源，生成动态元数据，然后进行色调映射和色度映射，以匹配不同屏幕的显示能力。因此，对于 HDR Vivid 来说，主要有三大核心的技术原理：一是动态元数据（Metadata），二是色调映射（Tone Mapping），三是饱和度调节（Saturation Adjustment）。相比于其他的 HDR 标准，HDR Vivid 有着以下三点明显优势。

开放性与安全性：HDR Vivid 技术标准公开完整地定义了超高清视频呈现处理 HDR 的过程，从方法上保证对高质量视频的忠实还原。在现有 HDR 的基础上，通过增加动态元数据为显示终端提供更加准确的动态范围映射方式，从而最大限度还原 HDR 内容原有的艺术效果。同时，HDR Vivid从头端制作开始嵌入动态元数据，确保了终端的可实现性，以及处理效果的可控可预期。这种方式对比业界私有HDR技术，是一种更开放更普世的技术标准及开放方案。对产业各方来说，技术开放性以及安全性都更适于产业部署。

兼容性与可扩展性：基于HDR视频内容增加动态元数据，但不修改原有的HDR视频内容；支持BT.2100 PQ & HLG HDR输入，动态元数据可以借助后期工具人工调试或自动生成；可以采用各种当前和未来主流视频编码方式（H.265/H.266/AVS2/AVS3…）；HDR Vivid定义了HDR显示终端如何基于动态元数据进行Tone Mapping进行显示适配；对于解码类终端（无直接显示能力），HDR Vivid定义了如何进行格式转换，从而适配不同的显示设备，后向兼容存量设备。

行业领先的色彩表达能力：采用的曲线总共有4个分段区间，6个插值点，包括对应暗区的一次曲线和三次样条曲线，对应正常场景的基础曲线和对应亮区的三次样条曲线。相比 PQ 和 HLG，HDR Vivid在暗区和亮区有更精细的调整，能保留更丰富的细节信息。

图10 不同场景对应的曲线段

我们的技术实践

针对自身业务需求，我们端到端实践了 HDR Vivid 技术应用落地，先后在2021年欧洲杯、2022年冬奥会上，提供了 HDR Vivid 点直播内容服务。

图11 端到端流实现方案

我们从以下几个方面挖掘 HDR Vivid 技术特色，提升内容色彩真实感，为用户带来更为真实细腻的赛事观看体验，沉浸式体验夏天欧洲杯似火的激情，领略北京冬奥冰雪赛事的极速魅力。

1. 支持帧级动态元数据调整，支持0.05nits到10000nits的高动态范围，映射曲线引入比 PQ 曲线更多的分段区间及更复杂的三次样条曲线，在低于100nit 的暗区和高于2000nit 的亮区比 PQ 有更精细的亮度映射，从而获取更精细的纹理细节。

2. 结合咪咕体育业务，针对冬奥会、足球、篮球体育场景的特殊优化；针对冰雪高亮场景进行动态处理，对特写镜头、慢放镜头等使用基于 ROI 的肤色优化算法，展现更为真实的观感。

3. 逐帧色彩校正，针对户外高亮区域（高亮度）、夜景(低亮度)分别进行不同的图像处理，增强曝光不足，展现更多的暗区信息，模拟填充亮区细节。结合时域信息，展现更多细节，且不产生闪烁。针对中间部分色彩区域，运用颜色增强算法：通过使用光照图做中介，在动态范围压缩、色彩增强和颜色恒常三个方面达到平衡，避免颜色增强时，引入失真，噪声，色块等问题。

在芯片未能广泛支持HDR Vivid的背景下，我们在北京冬奥会首次实现HDR Vivid软渲染的直播业务验证，为 HDR Vivid 内容移动终端播放提供了新的解决方案和实践经验。

HDR 技术不是一个单点的技术，而是一个端到端的生态系统。从前端摄像机的拍摄开始，包括后期制作、编解码，以及到呈现等环节都需要支持并应用 HDR 对应的标准。

在整个生态系统的每一个环节，都有很多核心的技术供应商和厂家进行支持。由于各个标准之间技术不统一，各家之间的竞争也是异常激烈，形成了开放与商业授权，效果与兼容性之间的矛盾持续存在的现状。主要标准的对比见下表，其中 HDR Vivid 在开放性与安全性，兼容性与可扩展性，行业领先的色彩表达能力等方面有比较明显的优势。

自2020年9月4日CUVA联盟发布HDR Vivid标准以来，当前产业生态基本成熟，产业链各环节均有产品支持。

芯片领域，海思、MediaTek联发科等均有发布支持HDR Vivid芯片产品，kirin 990、天玑9000等手机芯片支持HDR Vivid技术标准。

终端领域，随着芯片的支持，夏普、创维、小米、海信、TCL、长虹、OPPO、三星、LG等电视终端厂家2022年将有更多机型支持。荣耀、Vivo、OPPO和小米等移动终端厂家也已经开始支持HDR Vivid产品版本规划。中国移动等电信运营商IPTV/OTT的创新示范应用，将推动九联、创维、烽火、朝歌、浪潮、中兴等机顶盒厂家支持HDR Vivid标准的产品推出。

内容生产，内容规模超过一万小时，并在持续增长。咪咕、腾讯、爱奇艺、华为、优酷等视听内容服务平台，自2021年起，逐步推出 HDR Vivid 点直播内容服务。我们在内容方面也做了重点部署和诸多尝试。2021年欧洲杯，我们首次运用HDR Vivid技术于国际大型体育赛事直播，全面提升画面整体的色彩层次和画质细节，动态画面更流畅、更清晰。在2022年北京冬奥会上，我们通过软件解码渲染方式在移动端试验HDR Vivid直播业务。咪咕作为主要起草人，全面参与制定HDR Vivid相关技术标准，覆盖HDR技术领域全链路生产标准，促进HDR Vivid技术标准化发展。2022年，HDR Vivid点直播内容供给将形成数万小时以上规模。

整体上看，HDR Vivid 发展迅速，生态圈在进一步扩大，大规模商用指日可待。

当前 HDR Vivid 产业仍然面临着一定挑战和机遇。

首先，HDR Vivid 采集制作的效率亟待提升。仍需大力提升生产效率，降低生产门槛，助力 HDR Vivid 内容的高质量生产。建议非编软件可以方便快捷地生成 HDR Vivid 动态元数据和母版文件。例如只需在现有制作环境中增加一个流程节点，即可在HDR调色后生成母版文件，同时能进行微调，可大幅减少 HDR Vivid 规模制作的繁琐步骤，进一步促进产业发展。

其次，支持 HDR Vivid 显示能力的终端逐步规模化。内容服务平台将继续探索 HDR vivid 落地场景，大小屏、云游戏均有布局与探索。新的场景促进 HDR Vivid 技术能力的产业落地，促进HDR Vivid内容多样化供给。

此外，HDR Vivid 技术优势有待更充分发挥。在多场景下，HDR Vivid 未来将直面用户的检验，如何进一步挖掘 HDR Vivid 技术潜力，真正实现世界一流的 HDR 显示渲染效果，需要整个产业的共同努力。

【参考文献】

[1] http://graphics.stanford.edu/courses/cs178/applets/locus.html

[2] https://www.hisilicon.com/cn/techtalk/hdr-vivid

[3] HDR Vivid高动态视频技术白皮书

[4] High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays，ST 2084:2014

[5] Ultra HD Forum. Ultra HD Forum Guidelines.

[6] 齐欣编著．摄影用光经典法则：上海人民美术出版社

[7] Multi-exposure HDR capture

https://en.wikipedia.org/wiki/Multi-exposure_HDR_capture

*注：文章来源于微信公众号咪咕灯塔。如有侵权，请与后台联系，做删除处理。