【HDR学习】HDR视频相关知识讲解(一)

【背景】

由来:HDR首先作为静态摄影的一种技术而闻名于世。在静态摄影中,这种进行多次曝光并堆栈成一张暗部和亮部都有细节的图像的方法就是HDR摄影。

随着科技的进步,人们观看影视的体验越来越好,这不仅体现在视频分辨率上,还体现在视频画质上。如今视频的分辨率越来越大,已经从720P、1080P逐渐向4K、8K发展,视频的画质也越来越逼真,逐渐从SDR视频向HDR视频发展。HDR扩展了SDR的显示范围,具有更宽的色彩范围,更亮的亮度上限和更黑的亮度下限,同时在对比度、灰度分辨率等维度上对影像质量进行一个整体的提升,给体验者带来更具沉浸式的感受。

【基本知识】

人眼主观体验的五大维度:分辨率和帧率(已经提升到接近人眼极限)、位深、广色域(WCG)和高动态范围(HDR)(技术突破的门槛)。

1)亮度

单位是坎德拉/平方米(cd/m2)或称nit,亮度也称明度,表示色彩的明暗程度。

SDR/LDR(普通动态范围):0.05-100nits
HDR(高动态范围):0.0005-10000nits

2)色域

一个技术系统(显示设备)能够产生的颜色的总和。广色域能展现更多的颜色,使其更接近真实的色彩。
色域标准(色彩空间):sRGB(BT.709)、DCI-P3(苹果推荐)、BT.2020

(色域映射) 

色调映射(Tone Mapping)是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。(HDR -> SDR)

3)位深

单位bit,是储存每个像素颜色所用的位数,高位深展现的颜色变化更平滑,HDR至少需要10-bit.

广义的HDR=HDR+WCG(BT.2020)+位深(10-bit)

比如8位(bit)指的是一种基色可以有2的8次方(256)种等级,10bit就表示一种基色可以分为2的10次方(1024)种等级。把三基色能表示的色等级乘起来,就是能表示的色数,比如色深是12bit,也就是红绿蓝三种基色各有2的12次方(4096)种灰度等级,连乘起来就 是4096的3次方,也就是687亿色。显示器的色深(或色阶)越高,色彩之间过渡会越平滑细腻,色深不够就会显得生硬,甚至会产生阶梯感。

4)分辨率

可以从显示分辨率与图像分辨率两个方向来分类。

显示分辨率(屏幕分辨率)是屏幕图像的精密度,是指显示器所能显示的像素有多少。显然,分辨率越高,显示屏可显示的像素就越多,图像就越清晰

图像分辨率指图像中存储的信息量,是每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels Per Inch),通常叫做像素每英寸,图像分辨率的表达方式也为“水平像素数×垂直像素数”。

问题:图像分辨率和显示分辨率不匹配?

如果图像分辨率小于显示器分辨率,如果仍以1:1显示,即一个像素对应一个像素,那屏幕就不会满屏。比如显卡输入640x480,而显示器为1280x1024,就会看到显示器左上角640x480的区块有清晰的图像,而其它剩余区域都是黑色的。为了实现满屏,就要实现图像的缩放(Scaling),做法就是要给画面补足像素,水平方向640个像素须补足到1280个像素,垂直方向480个像素要补足到1024个像素,插入像素的插值算法取决于Scaler IC。

当图像的分辨率大于显示器时,则相反,不是补足而是要减少像素个数,这时图片的像素会被压缩,画面细节受到损失,细节分辨不清。例如用数码相机的屏幕也可以看到完整的照片,不过感觉很模糊,放在电脑上看就好多了,因为屏幕的分辨率低。

5)帧率

一秒钟的视频看起来是连续的,其实是由几十张图片构成的。这几十张图片按照先后顺序连续播放便形成了视频的效果。这些图片在视频技术里就叫做”帧”。要保持比较流畅的效果,帧率需要保持至少在25帧以上,此时人眼才感觉不出卡顿。对于4K视频而言,帧率有30有50也有60的。从观看效果来看,肯定是帧率60的看起来最流畅了。不过用60的帧率,视频的码率也会大一些,占用的带宽也大一些。

【HDR和SDR】图像/视频

HDR(High-Dynamic Range)即高动态范围,又叫“高动态光照渲染”。HDR图像(High-Dynamic Range Image)即高动态范围图像,简称HDRI,它将每个曝光瞬间相对应最佳细节的LDR图像(Low-Dynamic Range,低动态范围)合成为最终的HDR图像;通俗来说,就是将同一个画面进行多次曝光,再合成为一张图像。HDR视频就是带有HDR特效的特殊视频,这种视频相比普通视频来说画面更加生动有质感。无论是HDR图像还是HDR视频,都是基于HDR技术的, HDR是一种概念,同时也是一种特殊的图像/视频文件格式。HDR的意义在于:让显示器画面更接近人眼所观察到的现实世界

HDR和SDR图像的区别

1.概念不同:HDR的全称是High-Dynamic Range,指的是高动态范围图像;SDR的全称是Standard Dynamic Range,指的是标准动态范围图像。

2.亮度范围表现不同:HDR是根据不同的曝光时间的LDR(Low-Dynamic Range)图像,利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像,能够更好的反映出真实环境中的视觉效果。

3.图像细节表现不同:HDR技术可以在使图像在明暗之间获取更多的细节表现,同样的画面中,在SDR下是在1到100之间用间距为1的点连接起来的曲线。在HDR下就是在1到1000之间用间距远小于1的点连接起来的曲线。后者当然能够更好的表现图像当中光线和颜色的渐变和层次。

总得来说为以下三点,概念不同,HDR是指高动态范围图像,SDR是指标准动态范围图像;亮度范围表现不同,HDR比SDR有更大更亮的数据存储;图像细节表现不同,HDR技术可以在使图像在明暗之间获取更多的细节表现。

HDR视频和SDR视频的区别在于

HDR 视频画面可以展现出更多的亮部和暗部细节,画面拥有丰富的色彩和生动自然的细节表现,因此画面更接近人眼所见;SDR视频的色彩饱和度以及画面对比度不如HDR视频,相比HDR视频,SDR视频的画面,给人一种暗淡不自然的观感,同时在亮部以及暗部细节上都有很明显的缺失。

播放条件:HDR视频资源、一款支持HDR的显示器或者HDR电视、支持HDR视频的播放器软件即可实现播放。

前HDR视频源较为有限,主要获取途径有:支持HDR的游戏(如古墓丽影崛起等),蓝光电影视频,Netflix(奈飞),YouTube,ITunes,Vimeo,爱奇艺(你没看错,爱奇艺是国内率先支持HDR视频的平台),优酷(优酷目前已有HDR模式),索尼富士的相机,NHK/BBC等电视台。

【HDR技术】

1)Dolby Vision(杜比视界)

本质上是一系列的画质增强技术,这里我们主要介绍它的HDR部分。杜比实验室的研究人员在探索HDR需要多少的动态范围时做了一项主观测试,有大约90%的受访者对0到10,000 nits(cd/m2)的亮度范围感到满意。所以杜比设计了一条理论最高亮度10,000 nits(cd/m2)的EOTF(Electro-Optical Transfer Function,电光转换函数)曲线PQ作为Dolby Vision标准的核心,但目前还没有显示设备能达到这一亮度所以目前Dolby Vision在内容标准上使用的实际最高亮度值为4,000 nits(cd/m2)。Dolby Vision支持最高到12 bits的位深和Rec.2020 的宽色域,并且拥有独立的SDR版本进行向下兼容。

2)HDR10和HDR10+

HDR10全称HDR10 Media Profile,在2015年8月27日由消费者技术协会(Consumer Technology Association,CTA)发布。HDR10采用Rec. 2020宽色域、10 bits位深、SMPTE ST 2084 (PQ)[4]作为传输曲线、使用SMPTE ST 2086色彩容积元数据(Mastering Display Color Volume)、最大帧平均亮度水平(Maximum Frame Average Light Level,MaxFALL) 和最大内容亮度水平(Maximum Content Light Level,MaxCLL),HDR10在数据编码上采用高效率视频编码(High Efficiency Video Coding,HEVC)。HDR10不支持向SDR兼容,因此无法在传统广播电视流上使用。可以说是一个免费授权的简化版Dolby Vision。

HDR10+于2017年4月20日由三星和亚马逊视频发布,是一种基于HDR10的标准。HDR10+同样采用Rec.2020宽色域和10 bits位深,和HDR10相比增加了动态元数据(SMPTE ST2094-40)。HDR10+的动态元数据是在逐个场景(scene-by-scene)或逐帧(frame-by-frame)的基础上更精确地进行色调和亮度级别的优化调整。

3)  HLG

Hybrid Log-Gamma(HLG)是由BBC和NHK联合开发的HDR标准。它与标准动态范围(SDR)兼容,也支持Rec.2020宽色域和10bits位深。HLG定义了非线性光电传递函数(Optical-Electro Transfer Function,OETF),其中信号值的下半部分使用伽马曲线,信号值的上半部分使用对数曲线。HLG可以与SDR兼容,目前电视台的视频主要拍摄制作采用此格式

小结:Dolby Vison、HDR10、HDR10+和HLG四种HDR标准之间的相关技术参数比较。

这么多种标准虽然有相互竞争的部分,在不同的领域还是有各自的倾向的。对于电影制片公司来说,制作一部院线电影的HDR版本就只有Dolby Vision可以选择了,目前只有Dolby Vision的标准里有支持院线的选项(作为杜比影院的一部分)。而在广播领域自然是HLG占有大量份额。在流媒体或者蓝光影片这样的家庭娱乐服务来说则是各有份额。

【相关概念】

  • 元数据

对于HDR技术来说,元数据就记录了电影画面中非常重要的信息,其中主要包括了色彩和亮度两大方面的信息,具体来看包括了影像的分辨率、色域范围、色度取样、色彩深度、码率、编码格式、帧率、画面比例、制作端显示设备的亮度等,其中有两个元数据是非常关键的,分别是MaxCLL内容的最高亮度等级和MaxFALL平均帧最高亮度等级。通过这些信息,我们就能让HDR显示设备正确处理HDR画面中的色彩与亮度细节,不会让这些重要的细节层次信息丢失。从功能上来说,HDR的元数据是来帮助显示设备以更好的方式来显示画面内容。从内容和作用范围上来看,可以分为静态元数据和动态元数据。

1.静态元数据:一段视频中采用同样的元数据,去控制每一帧画面的色彩与细节,在帧之间并不会变化。优势当然是简单,而不足之处也同样明显,整部电影都采用同样的元数据来控制光影变化,可是电影之中的每一帧画面的动态范围并非一样,很容易会造成某些大动态场景的画面的暗部或高光细节出现丢失,比如说雪山、黑夜等场景。这也是早期HDR显示设备的HDR画面表现并不如意的主要原因,有些时候黑位很扎实,阳光感十足,有些时候画面容易出现过曝问题,高光层次丢失。

包括如下3大部分的内容。

第一部分是用于视频内容母版制作的显示器的色彩容积信息( 颜色空间、白点及最大最小亮度范围) ,这部分内容是在SMPTE ST 2086标准中定义的。

第二部分是Maximum content light level (MaxCLL),它表示的是整段视频所有帧里面,最亮的像素点的光亮度。

第三部分是Maximum Frame-Average Light Level (MaxFALL),它表示的是整段视频里面,最亮的帧的平均光亮度。

优势当然是简单

2.动态元数据:就是允许为每一帧或者每一个场景切换指定元数据。以最大程度地优化HDR画面的亮度表现,尽量保证每一个场景的画面动态可以充分释放,同时还能保留丰富的暗部与高光细节层次。HDR10+和Dolby Vision都采用了动态元数据。

元数据:SMPTE ST 2086、SMPTE ST 2094、CEA-861.3

  • 色调映射

有了元数据,要实现正确的HDR画面显示,还需要进行正确的色调映射才能实现。显示设备的色调映射,同样也分为静态映射与动态映射两种方式。

静态映射会根据HDR节目源中的静态元数据,对整部电影进行单一的色调映射,或者说采用单一的亮度曲线来处理高光滚落或高切点,对于显示设备的HDR处理性能要求不高,较为容易实现,所有的HDR设备都支持静态映射。

动态映射并不等于动态元数据,两者可以共同运行,而动态映射还可以单独运行。从运行效率和正确率的角度来说,结合动态元数据的动态映射是最为理想的。通过HDR10+和Dolby Vision中的动态元数据,显示设备并不需要配备高性能的处理器就能实现逐个场景甚至是逐帧的动态映射。这种方式属于预处理的动态映射技术。那么当遇到大量采用静态元数据的HDR10节目源的时候,想要进行动态映射处理,就只能依赖显示设备内置的处理系统了。需要注意的是,这种方式属于后处理的动态映射处理,并不能保证画面一定是正确的。也是因为这个原因,显示设备中的后处理动态映射处理功能,往往还会留给用户一定可调的空间,比如说预留高中低三个不同处理强度的设置档位,用户可以根据片源是偏向高光还是偏向暗部来自行选择。而前面所提到的动态元数据和动态映射相结合的预处理动态映射模式,如HDR10+就基本上只有开启或关闭的选项。

  • HLG/PQ/Gammar曲线

SDR一般会用到Gammar函数,存在的问题是“亮度超过100,则映射到同一个值”

HDR包括HLG HDR和PQ HDR,"HLG"和"PQ"是指电光变换函数。HLG/PQ曲线区别和优缺点

PQ函数:

•提出者:Dolby

•最大亮度:10,000 nits

•标准:SMPTE ST 2084,BT.2100

•具体方案:Dolby Vision,HDR10,SL-HDR1

光&电转换函数:OOTF EOTF OETF解说

  • 生产者-消费者模式

SurfaceFlinger作为负责绘制应用UI的核心,从名字可以看出其功能是将所有Surface合成工作。 

不论使用什么渲染API, 所有的东西最终都是渲染到”surface”。

surface代表BufferQueue的生产者端, 并且由SurfaceFlinger所消费,这便是基本的生产者-消费者模式。

【软件&网站】汇总

查看视频信息的软件:MediaInfo

HDR详细讲解

AVIF格式带HDR效果图片源下载

猜你喜欢

转载自blog.csdn.net/cocoduco/article/details/129675628
HDR