基于位差预测的视图合成

Digital videoCJ文章编号:1002-8692(2009)S2-0079-03.论文.基于位差预测的视图合成‘宋丽娟,霍智勇,朱秀昌(南京邮电大学江苏省圉像处理与困像通信重点实验室,江苏南京2000)[摘要]为了满足足多视点视频中新视点合成的胃要,提出了一种基于位差估计和补偿插值的视点合成方法。实验结果表明,当两四贷的集用展量和传施方法相当，但合成速度比较快，可应用于实时的交互式系统中。个摄像机间的基线比较小的时候,合成的视图质[关键词]视点合成;位差估计;插值[中图分类号] TN911.72[文献标识码] AView Synthesis Based on Disparity PredictionSONC Li-juan, HUO Zhi-yong ZHU Xiu- chang(nangu Prince Key Laub on Imor Pocerin & Imoer Commieion Novjing Unenin叭Pous ond Tomeacinen Narjing 20003China)[Abstrac1) n order。synbeis tbe inenie in the mliriev rideo, snev view snmheis mehod i poped which i beedm dpntny peicion and ineplaion Eperimental rule show thu the ped mehed can povide god ing quliycmpred i袖tio methods rhen the belie s mall The poped mehod can ger the inedite riew qisl hus itcan be applied in interactive system.(Key words] view synheis; disparity pediction iterplation图像在时间上是不同的，而在位差估计中,两幅图像是同1引言多视点视频可以提供与场景的交互能力，用户可以时但从不同的摄像机视点拍摄获得的，可以采用与运动估计相类似的方法进行图像位差的估计明。自己选择在场景中的视点,比如在奥运会的比赛中,有多将输人的左右两幅视图分别看成是待合成视图的个摄像机同步从不同角度进行拍摄，那么用户可以在一“前向参考帧"和“后向参考帧”。首先对待合成视图与参定范围内随时改变看点,实现任意角度的观看,这就需要考视阳进行分块处理，接着根据最小均方差准则找出待安装多个摄像机摄取图像实现视点切换，但是无论从设合成视图中的每-个图像块在两幅参考视图中所对应的备的价格还是从数据的存储,传输这都是不可取的。本文最佳位差值。的目的在于通过现有摄像机摄取的图像合成出更多的视当摄像机之间的基线分离较小的时候，可以认为两点图像，从而在不增加成本的前提下使可切换的视点增幅参考视图中的对应物体间在一定范围内发生了水平和.加，切换过程更加平滑,观看起来更加流畅。垂直方向上运动，因此可以在矩形搜索区城内对位差进图像插值是实现视点合成的一类重要技术。这类方行预测。法主要是建立左右两幅视图中像素间的关系，即位差估将待合成视图V,参考左视图V和参考右视图V,分计,然后基于位差图像来插值完成中间视点图像的合成。割成大小为BxB的图像块,搜索区域定为MxN。考虑到这类方法都是首先进行位差图的估计，为了得到更加精为了使图像边缘处的块也能找到比较精确的位差，在预确的位差图.运用了窗函数1-,以及对窗函数进行的优测前对输入的两幅参考视图进行了扩展，视图合成之后化方法叫，从而导致比较大的计算开铺。由于合成的视再进行去扩展操作。位差预测的具体实现步骤为:图本身是不存在的，并且在一般交互系统中对图像的质1) 对于待合成视图中的每一-个图像块在两幅视图量并不是要求特别苛刻，因此上述的这些算法并不适合中首先找到对应位置,以块的左上角的像素点为基准;于交互系统中的实时性应用。2)搜索区域内,在水平和垂直两个方向上,两个视2基于块匹配的位差估计图都中国煤化工进行移动，得到相应位差估计问题与运动估计问题类似，它们都需要在位置处THCNMH G "最小均方差准则,找两幅图像的像素之间建立对应关系。在运动估计中,两幅到最佳.国文自自然科学基金项目(60672134);江苏省自然科学基金项目(BK2007238)No.S2 vo.3 200N 332VDBINEN 79数字视频式中:mux和muy为实际的位移大小，如果视图V的(d,d,)=min 2 lB.(y,-pxd,xn -pxd,)-muy=pxd, ,mwx=pxd,那么在V,中为muy=(1-p )xd, ,mwx=B(x-(1-p)xd,x-(1-p )xd,)P(1)(1-p)xd,;这样就清楚地表示出了实际位差给视图内容3)重复步骤2),从而计算出待合成视图中每一个的合成所带来的影响。图像块在两幅视图中的最佳位差值。如果是进行半像素插值或者1/8 像素插值,插值原值得注意的是公式(1)中的参数p、B,和B2。p代表理相同， 需要对2求模或者是对8进行求模得到加权系的是虚拟视图V距离左右两个视图V和V,的比值。例数,然后依据式(3)就可以得到相应的值了。如当需要绘制两个摄像机基线的中心点处的视图时p4差错块的检测与调整的值为0.5。图像块B,和B,并不是参考视图中相应位置处的像素值,而是插值之后的值,插值的过程将在接下在运动估计中物体的运动矢量的大小非常有限,但在位差估计中对于那些接近摄像机的物体,他们的位差来的部分给出。矢量会非常大，由于上述对位差的估计是在-一个固定的3基于位差补偿的虚拟视图的合成搜索区域内进行的,因此有些块的位差估计会出现错误,根据得到的最佳位差值，就可以依据位差补偿方式需要进行调整,否则会产生比较明显的块效应。进行“帧内插”了。左视图V依据每一个块对应的位差矢4.1 差错块的定位量可以插值得到一个虚拟视图V',同样参考右视图v,在实验中通过对合成的每-幅图像的图像块的位差也可以插值得到一个虚拟视图V'。那么,两个摄像机中.矢量进行检测，发现有些图像块的位差矢量与周围的块心连线任意位置处虚拟视角点所对应的视图为:相比有比较大的差异，这样的情况下就会导致合成视图V=(1-p )xV'+pxV,'中比较明显的块效应。关于这些块的检测采用了如下的在“帧内插”过程中使用到了1/4 精度像素的插值，判断公式具体的插值实现如图1所示。disy. v=(vector. y(ij)- vector. _y(ij-1)>T) HIp(y, x)p(y, x+1)(vector_ y(ij)-vector_ y(i,j-1)>T)a| bdisy. .h=(vecor_y(ij) -vector. y(i-1j)>7) I(vector. y(ij)-vector. y(it1 j)>T)disx. v=(vector. x(ij)-vector. x(i;j-1)>T) H(vector. x(i,j)-vector_ x(i,j+1)>T)disx. _h=(vector_ x(i,j)-vector. x(i-1 ,j)>7) H(vector. x(ij)-vector. _x(i+1 ,j)>7")(5)p(y+1, x)p (y+I, x+1)式中:vector_yv(i,j)和vector. x(i,j)分别代表的是块(i,j)图1 114精度像素插值在垂直方向和水平方向上的位差矢量值,T为设定的阈图中的p(y,x),p(y,x+1),p(y+1,x),p(y+1,x+1)代值。disy_o ,disy_ h,disx_。和disx. h的值同时为1,说明块表的是参考视图中原有的4个相邻像素点,a,b, .",，为的位差矢量值与周围的块相比差异度比较大,需要进行利用p(y ,x),p(y,x+1),p(y+1,x),p(y+1,x+1)这4个点调整。其中的阈值如果设置的比较小，会过检测,导致不的像素值插值出来的16个像素点。必要的计算量;但值过大又会漏检测。在实验中选定的阈其中每一个像素点的计算方法是一样的，只是所使值为10。用的权重系数不同而已。以像素点b为例,对b进行插值当对一幅视图绘制完成之后，依据上述方法对所有的公式为图像块的位差矢量进行检测,如果需要调整,则采用如下p= 1yXP(y,x)Hw:xp(y .+1)+0xp(y+1 x+ox(r+1,x+12(3)的方法进行内容的调整。4.2 块内容的调整式中:U0,U2,403和ws是像素点p(y,x),p(y,x+1),p(y+1,x),假设图像块的大小为16x16,发生错误的块为EB,p(y+1 ,x+1)的加权系数。这些加权系数的计算方法为.如图2所示。采用了类似于重叠块运动补偿的方法进行w=(4- -mwx%4)(4- muy%4),了位中国煤化工到的位差值进行位差w=(mwx%4)(4- muy%4),补偿|Y片CN M H G8x8的小块,接下来再w=(4 mux%4)(mvy%4)将这4个小块分别与周围的像素点组合成4个16x16的w=(mux%4)(mwy%4)(4)图像块B1~B4。最后,对块B1~B4分别利用上述位差预80电视技或3009年第 3卷第s2期总第32)万万数据~Digital video测的方法进行位差矢量的预值得注意的是，本文的算法适用于摄像机之间的基31B2测，根据预测的位差矢量分别线距离比较小的情况,如果摄像机间的距离比较大,那么_E对块B1~B4所在的区域进行此时输人的两幅视图间的变化就不能简单的看成是- -种插值。从而完成了EB块内容平动了 ,从而上述的预测位差的方法也就不再适用了。B4的调整。6总结5实验结果本文提出一种基于位差预测和补偿的视点合成算图2块内容的调整实验中本文是用了法,这种算法依据输人的两个不同视角处的图像,可以合Tsukub图像对叫。图像的分辨率为384x288,使用的分块成出基线上任意一点处的视图。这种算法绘制视图速度大小为16x16。合成的视图结果如下图3所示。较快,不需预处理,非常适合于实时性监控系统的应用。文中的位差搜索过程还可以通过快速搜索算法进行性能提高。本文的算法在进行位差矢量预测的时候只是考虑了亮度成分,没有考虑到色度成分,因此在下一步工作中还应该将色度成分的影响考虑进去。(a)左视图(b)合成的中间视图(c)右视图图3本文算法合成的Tsukub中间视点图像参考文献:在文献[10]中的各种位差估计方法都是为了得到比[1] KANADE T ,OKUTOMI M. A stereo matching algorihm with an adap-tive window: Theory and experimens([I IEEE Trans. Pallem Analysis较精确的位差图,依据得到的位差图进行插值。但是这些and Machine Ieligence, 1994 ,16(9):920 -932.方法都是依据比较复杂的计算开销为代价的,在文献[5]2] IZQUIERDO E. Disaritysegmentation analysis: matching with an中计算一个33x33的窗就需要1 min,而本文的算法合adaptive window and depth-driven segmentation[D]. IEEE Trans. Cir-成上述图像整个过程只需要40s。且从主观上来看,合成.cus and Systems for Video Technology，1999 ,19(4):589 -607.的视图并无明显的缺陷,完全具有可接受的视觉效果,是[3] VEKSLER 0. Stereo crrepondence with compact windows via mini-mum ratio eyele[J]. IEEE Trans. Patlerm Analysis and Machine Itell-.可以满足应用在一般的交互式系统中。gence, 2002,24(12):1654- 1660.为了测试本文算法的性能，还利用了另外一组图像[4] XU Y,WANG D,FENG T,et al. Stero computation using radial adeprballe!", 这是一组多视点图像集,利用第-个和第二个摄tive windows [CVI Proe. 16th Inemational Conference on Pttem像机拍摄到的视图绘制出了它们中心连线上距离左视图Recognition:vol. 3. (.J.]1EEE Pes,2002:595 -598.分别为1/4,2/4,3/4处的视点所对应的视图。使用到的图[5] YOON K J,KWEON I s. Locally adaptive support -weight approach for像的分辨率为256x192,分块大小为16x16,合成的视图的结果如图4所示，图4b和4c均为合成视图,4a和4dchine Inelligence ,2006 .28(4) :650-656.[6]吕朝辉,袁惇.基于视差估计的中间视合成[].光电子.激光,2007,为输人视图。18(7)855-858.[7] WANG Yao,OSTERMANN J ,ZHANC Ya-Qin.视频处理与通值[M].侯正信,杨喜,王文全,译.北京:电子工业出版杜,2003:288 -310.[8]毕厚杰新-代视频压缩编码标准_ -H.264AVC[M).北京:人民邮电出版社,2005:33-42(a) 左视图(b) 14处视图(c) 1/2处视图[9] CHEUNG A,KOSMACH J J,ORCHARD M T.et al. Overlapped blockmotion comensationJ[L Proc. SPIE, 1992,1818:561-572.[10] SCHARSTEIN D,SZELISKI R A taxonomy and eraluation of densetwo frame stereo cortespondence algorithms[J} Intemational Joumalof Computer Vision ,2002.47(1):7-42.[1] ZITNICK c L,KANG sI B.UYTENDAELE M.et al. High-qualityvideo view interpolation using a layered rpresentation 0 ACMd) 314处视图(e)右视图.Trans. Grephics. Association for Computing Machinery ,2004,23图4本文算法合成的多视点视 图中国煤化工以女舞蹈演员身后的图画为基准，可以看出这些视责任编辑.TYHC N M H G收璃日期2009-06-12.图的角度转换的过程,通过这些虚拟视图的加入就会使视点转换过程更加平滑连贯。No: s2 vo.3 20Su NO 332VDEBGINERNG 81