图像质量评价（四）：SSIM和MSSIM

SSIM

SSIM是一个普遍使用的图像质量评价指标，它是基于人眼观看图像时会提取其中的结构化信息的假设。

SSIM是一种全参考的评价方法，对于图像x和图像y，其SSIM计算方式以下:

上式中l(x,y)是用均值来估计亮度，c(x,y)是用方差估计对比度，s(x,y)是用协方差估计结构类似度。

因此SSIM定义为：

能够看出SSIM知足如下性质：

1. 对称性：SSIM(x,y)=SSIM(y,x)

2. 有界性：SSIM(x,y) <= 1

3. SSIM(x,y)=1当且仅当x和y彻底相同。

MSSIM

上面介绍的单尺度SSIM须要在特定的配置下才能表现良好，而MSSIM对不一样分辨率的图像都能保持性能稳定。

MSSIM的流程如上图所示。将参考图像和失真图像做为输入，而后分别依次迭代的使用低通滤波器和1/2降采样。假设原始图像为Scale 1，最高尺度为Scale M通过M-1次迭代获得。对于第j个尺度，只计算对比度c(x,y)和结构类似度s(x,y)。仅在Scale M计算亮度类似度l(x,y)。如上图所示。

最终的SSIM是将各个尺度的结果链接起来：

alpha,beta,gamma用于调整各个份量的权重。为了简化，一般令：

跨尺度校准

对于MSSIM通常对每一个尺度令alpha=beta，那么如何选择不一样尺度的alpha和beta参数（即肯定不一样scale的相对权重）？

上图中，每一行的MSE都相同，每一列的scale都相同。对于给定的8bit灰度图像，咱们能够合成上面的失真图像表。这里有5个scale，12个失真水平，共60幅图像。能够看到每行的MSE都相同，可是它们的感知质量却差异很大，这说明不一样尺度的失真对感知质量的影响不一样。

咱们使用10幅不一样内容的（人脸、天然风景、植物、人造物体等）64x64的图像，构建了10个上面的失真表（共600幅失真图像）。有8个受试者，观测距离固定为每度观测视角32个像素距离。每一个人依次看10组图像，对不一样尺度的图像进行比较，每一个尺度选择出一幅他们认为质量相同的图像。例如上图中标红的5幅图像，观测者认为它们质量相同。每一个人选择的结果会被记录，平均计算获得最终测试结果，对测试结果计算获得：

实验结果

在八个数据集上测试MSSIM的表现结果:

Database	Results	Nonlinear fitting code	SROCC	KROCC	PLCC	RMSE
TID2013	MSSSIMOnTID2013	NonlinearFittingTID2013	0.7859	0.6047	0.8329	0.6861
TID2008	MSSSIMOnTID	NonlinearFittingTID	0.8542	0.6568	0.8451	0.7173
CSIQ	MSSSIMOnCSIQ	NonlinearFittingCSIQ	0.9133	0.7393	0.8991	0.1149
LIVE	MSSSIMOnLIVE	NonlinearFittingLIVE	0.9513	0.8045	0.9489	8.6188
IVC	MSSSIMOnIVC	NonlinearFittingIVC	0.8980	0.7203	0.9108	0.5029
Toyama-MICT	MSSSIMOnMICT	NonlinearFittingMICT	0.8874	0.7029	0.8927	0.5640
A57	MSSSIMOnA57	NonlinearFittingA57	0.8414	0.6478	0.8603	0.1253
WIQ	MSSSIMOnWIQ	NonlinearFittingWIQ	0.7495	0.5740	0.8095	13.4486
Weighted-Average

参考

《Multi-scale structural similarity for image quality assessment》

https://sse.tongji.edu.cn/linzhang/IQA/Evalution_MS_SSIM/eva-MS-SSIM.htm

感兴趣的请关注微信公众号Video Coding

本文分享自微信公众号 - Video Coding（gh_17eb8f3e0fe7）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。