【三维重建】【深度学习】NeRF图像质量的客观评估指标:PSNR和SSIM
提示:最近开始在【三维重建】方面进行研究,记录NeRF相关知识点,目前针对有真实参考的图像质量评估指标主要有三种:人为设计的SSIM和PSNR以及对神经网络抽取特征进行对比的LPIPS，这里主要介绍SSIM和PSNR的原理。
PSNR(峰值信噪比)
峰值信噪比(Peak Signal to Noise Ratio, PSNR)是一种衡量图像质量的度量标准。因为PSNR值具有局限性，所以它只是衡量最大值信号和背景噪音之间的图像质量参考值。
PSNR是基于MSE(MeanSquare Error，均方误差)定义的，其中，MSE定义为：
M S E = 1 H × W ∑ i = 1 H ∑ j = 1 W ( X ( i , j ) − Y ( i , j ) ) 2 MSE = \frac{1}{
{H \times W}}\sum\nolimits_{i = 1}^H {\sum\nolimits_{j = 1}^W {
{
{\left( {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right)}^2}} } MSE=H×W1∑i=1H∑j=1W(X(i,j)−Y(i,j))2
MSE表示当前图像X和参考图像Y的均方误差，H、W分别为图像的高度和宽度
PSNR定义为：
P S N R = 10 log 10 ( M A X x 2 M S E ) = 10 log 10 ( ( 2 n − 1 ) 2 M S E ) PSNR = 10{\log _{10}}\left( {\frac{
{MAX_x^2}}{
{MSE}}} \right) = 10{\log _{10}}\left( {\frac{
{
{
{\left( {
{2^n} - 1} \right)}^2}}}{
{MSE}}} \right) PSNR=10log10(MSEMAXx2)=10log10(MSE(2n−1)2)
M A X x MA{X_x} MAXx为图像X的最大像素值：n为每像素的比特数，一般取8，即像素灰阶数为256
PSNR的单位是dB，MSE越小，则PSNR越大；PSNR越大，代表着图像质量越好。
PSNR值越大，表示图像的质量越好，一般来说：
- 大于40dB：非常接近原始图像，图像质量极好
- 30到40dB：失真可以察觉但可以接受，图像质量良好
- 20到30dB：图像质量较差
- 低于20dB：图像质量十分糟糕
SSIM(结构相似性指数)
结构相似性指数(structural similarity index，SSIM)是一种用于量化两幅图像间的结构相似性的指标。SSIM相对PSNR在评价图像质量上更符合人类的视觉特性。SSIM从亮度、对比度以及结构量化图像的属性。
1.用均值作为亮度的估计：
均值：
μ x = 1 N ∑ i = 1 N x i {\mu _{\rm{x}}} = \frac{1}{N}\sum\nolimits_{
{\rm{i}} = 1}^N {
{x_i}} μx=N1∑i=1Nxi
亮度：
l ( X , Y ) = 2 μ x μ y + c 1 μ x 2 + μ y 2 + c 1 l\left( {X,Y} \right) = \frac{
{2{\mu _{\rm{x}}}{\mu _y} + {c_1}}}{
{\mu _x^2 + \mu _y^2 + {c_1}}} l(X,Y)=μx2+μy2+c12μxμy+c1
N表示像素个数， x i {x_i} xi表示像素值，X和Y代表不同的俩幅图像，c表示防止分母为零的常数
2.标准差作为对比度的估计：
标准差：
σ x = ( 1 N − 1 ∑ i = 1 N ( x i − μ i ) 2 ) 1 2 {\sigma _x} = {\left( {\frac{1}{
{N - 1}}{
{\sum\nolimits_{
{\rm{i}} = 1}^N {\left( {
{x_i} - {\mu _i}} \right)} }^2}} \right)^{\frac{1}{2}}} σx=(N−11∑i=1N(xi−μi)2)21
对比度：
c ( X , Y ) = 2 σ x σ y + c 2 σ x 2 + σ y 2 + c 2 c\left( {X,Y} \right) = \frac{
{2{\sigma _{\rm{x}}}{\sigma _y} + {c_2}}}{
{\sigma _x^2 + \sigma _y^2 + {c_2}}} c(X,Y)=σx2+σy2+c22σxσy+c2
3.协方差作为结构相似程度的度量：
协方差：
σ x y = 1 N − 1 ∑ i = 1 N ( x i − μ i x ) ( y i − μ i y ) {\sigma _{xy}} = \frac{1}{
{N - 1}}\sum\nolimits_{
{\rm{i}} = 1}^N {\left( {
{x_i} - \mu _i^x} \right)} \left( {
{y_i} - \mu _i^y} \right) σxy=N−11∑i=1N(xi−μix)(yi−μiy)
结构相似程度：
s ( X , Y ) = σ x y + c 3 σ x σ y + c 3 s\left( {X,Y} \right) = \frac{
{
{\sigma _{xy}} + {c_3}}}{
{
{\sigma _x}{\sigma _y} + {c_3}}} s(X,Y)=σxσy+c3σxy+c3
4.SSIM定义为：
S S I M ( X , Y ) = [ l ( X , Y ) α c ( X , Y ) β s ( X , Y ) γ ] SSIM\left( {X,Y} \right) = \left[ {l{
{\left( {X,Y} \right)}^\alpha }c{
{\left( {X,Y} \right)}^\beta }s{
{\left( {X,Y} \right)}^\gamma }} \right] SSIM(X,Y)=[l(X,Y)αc(X,Y)βs(X,Y)γ]
当α、β和γ均为1则：
S S I M ( X , Y ) = ( 2 μ x μ y + c 1 ) ( 2 σ x y + c 2 ) ( μ x 2 + μ y 2 + c 1 ) ( σ x 2 + σ y 2 + c 2 ) SSIM\left( {X,Y} \right) = \frac{
{\left( {2{\mu _{\rm{x}}}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{
{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} SSIM(X,Y)=(μx2+μy2+c1)(σx2+σy2+c2)(2μxμy+c1)(2σxy+c2)
SSIM值的范围为0至1，越大代表图像越相似。
总结
尽可能简单、详细的介绍PSNR和SSIM评估指标的原理。