1. 图像拼接传统做法:
待拼接的两幅图像之间的变换模型是平移模型,即两幅图像同名点位置之间只相差两个未知量:
Δx 和Δy,自由度为2,模型收得最紧。首先对输入的两幅图像做 柱面投影 ;然后通过模板匹配求取 Δx 和 Δy;最后采用渐入渐出的融合方式拼接两幅图像。图像拼接中的视差问题,就是指当输入图像间存在视差时,由于图像配准环节中所使用的配准模型无法完全表述图像之间的变换关系,导致重合区域内对应像素点的误匹配,降低配准效果的现象。在特定场景下,这种由于视差引起的误匹配可能导致全景图像的重合区域中出现鬼影、模糊,在拼缝处出现错位、断裂等诸多不良现象,恶化全景图像的质量。
在进行图像配准时,当前一般使用射影变换(单应)作为全局配准模型,即将待拼接图像上所有的像素点使用同一个单应矩阵映射到参考图像上。以图像 i、j 为例,基于射影变换的配准关系如下:
只有当满足:(1)所拍摄场景是平面,即场景中不存在深度差异;(2)拍摄时绕光心纯旋转取景,即在取景过程中不发生取景视点的变化;此两种情况之一时,重合区域内所有像素点才能使用同一个变换模型。而当场景中存在景深差异,在取景时相机光心又发生了平移运动时,就会因配准模型无法完全表述两幅图像之间的变换关系而发生不可避免的误匹配,降低配准的准确性,这即是拼接过程中视差问题的根源所在。这种由于视差导致的误匹配是在特定场景下的模型误差,无法消除,只能通过图像融合环节来缓解和掩盖。当融合环节无法完全抵消视差的影响时,就会导致全景图像中出现各类质量问题,降低拼接效果。
知乎知乎资源链接
视频拼接的示例还未下载