几何约束及视差概率的立体匹配算法

ISSN1000・9825,CODENRUXUEW

JournalofSoftware,V01.21,No.11,November2010,PP.2985-2998

doi:10.3724/SP.J.1001.2010.03695

@byInstituteE-mail:jos@iscas.ac.enhnp:I/www.jos.org.cnTel/Fax:+86-10-62562563ofSoftware.theChineseAcademyofSciences.Allrightsreserved.

利用块几何约束及视差概率的立体匹配算法牛

翟振刚1≯,陆耀1,赵红1’3

1(北京理工大学计算机科学技术学院智能信息技术北京市重点实验室,北京

2(防空兵指挥学院,河南郑州450052)

3(河北大学数学与计算机科学技术学院,河北保定071002)

UsingSegmentGeometricConstraintandDisparityProbability100081)StereoMatchingAlgorithm

ZHAIZhen.Gan91斗,LUYa01,ZHAOHon91,3

1(BeijingKeyLaboratoryofIntelligentInformationTechnology。SchoolofComputerScienceandTechnology,BeijingInstituteofTechnology,Beijing100081,China)

2(AirDefenseForcesCommandAcademy,Zhengzhou450052,China)

3(CollegeofMathematicsandComputerScience,HebeiUniversity,Baoding071002,China)

+Correspondingauthor:E-mail:zz_gang@bit.edu.cn

ZhaiZG,LuY,ZhaoH.Stereomatchingalgorithmusingsegmentgeometricconstraint

probability.JournalanddisparityofSoftware,2010,21(11):2985—2998.http://www.jos.org.cn/1000-9825/3695.htm

orAbstract:Tohandletheslantedcurvedsurfacesinstereomatching,the

areadjacentsegmentgeometricconstraintandthestatisticalinformationofdisparity

incorporatedinaadoptedintoaproposedalgorithm.Thesegmentgeometricconstraintistheoptimalplaneofeach

anewglobalenergyfunctionacquiresegment.Thestatisticalinformationofdisparityisadoptedtofindthereliabledisparitypixeland

arereliablesegment.Theconstraintsarebetweenthesegmentsandpixelsused

atoestimatethedisparityoftheunreliablepixels.Experimentsperformedontheclassicalimageswithlargerdisparityrange,moreslantedsurfaces,andsurfacewithlesstexture

andshowtheeffectivenessoftheproposedalgorithm.

Keywords:stereomatching;disparity;slantedsurface;curvedsurface;geometricconstraint;statistical

information

摘要:为了解决倾斜表面或曲面的匹配问题,提出了一种基于图像分割块之间的几何约束和视差值的概率分布信息的视差估算方法.在一个全局能量函数中增加了图像分割块之间的几何约束项,通过计算匹配能量得到分割块的最优视差平面.为了确定可信像素和可信分割块.利用了视差的概率分布信息.同时,利用了分割块之间的几何约束和分割块内像素之间的约束来估计不可信像素点的视差值.用包含大视差范围,更多倾斜表面、曲面和弱纹理表面等典型图像对所建议的算法进行测试,实验结果表明,该方法对于存在倾斜表面和曲面的立体视差计算是有效的.关键词:立体匹配;视差;倾斜表面;曲面;几何约束;统计信,总

文献标识码:A中图法分类号:TP391

・SupportedbytheBeijingKeyDisciplineConstructionProgramofChina(北京市重点学科建设规划项目)Received2008一i1-26;Revised2009—04—27;Accepted2009—・07・17

2986JournalofSoftware软件学报Vol,21,No.11,November2010

立体匹配是计算机立体视觉中一个重要的研究方向,近几年来有许多文献【l卅都在研究这个问题。根据所采用优化方法的不同,立体匹配算法可以分为两大类:全局匹配算法[5-s]和局部匹配算法19,10].虽然在文献【ll】中提到了许多算法,但是在弱纹理区域【12】、深度不连续【”】和遮挡区域[14,15]情况下,立体匹配算法仍面临着很多难题.此外,倾斜平面和曲面的匹配在研究中很少涉及,许多算法基本上采用了正面平行表面模型假设.即在进行匹配时,认为某一分割块内像素的视差值是一个恒定值.而现实中许多场景却不符合这种假设,所以采用当前的算法,在对具有许多倾斜表面和曲面的场景进行立体匹配时会产生误差,容易产生阶梯波纹的视差图.即使文献

【16]采用了截取平滑项,也不能很好地解决倾斜平面立体匹配问题,如图l(c)所示.

(a)Leftimage(b)Rightimage(c)Ref.[16】result(d)Groundtruth

(a)左视图(b)右视图(c)文献【16】的结果(d)真视差图

Fig.1Illuminationofslantedplaneinstereomatching

图1立体匹配中倾斜平面问题

为了提高倾斜表面和曲面的匹配精度,文献【17]利用分段线性曲面模型(piecewiselinearsurfacemodel)表示空间几何结构.根据视差空间的梯度信息,把采用MeanShift方法得到的图像分割块进一步细分,然后排除像素点的匹配奇异点,采用平面拟合方法得到视差值.该方法是把大的曲面分割成非常小的曲噍i小块,近似认为这些小块曲面具有同一视差值,即小块内的所有像素具有相同的视差值.

在文献[18】中,为了解决倾斜表面问题,Ogale和Aloimonos提出了基于扫描线的立体匹配算法(scan.1inebasedmatchingalgorithm).在文献【12,19,20】中,“和Zucker针对倾斜表面和曲面立体匹配问题提出了解决问题的方法.文献[19】能量函数中,融合了视差的一阶导数信息来解决倾斜表面的立体匹配问题;文献[12】利用了相邻像素点要满足几何一致性约束上下文几何信息(contextualgeometricinformation);文献【20】在能量函数中加入像素的几何约束.文献[12,19,20]都是采用像素的上下文几何约束(pixel.wisecontextualgeometricconstraint)信息,而本文采用分割块的上下文几何约束(segmentcontextualgeometricconstraint)信息和视差概率分布信息.在确定不可信像素的视差值时,采用的处理方法和文献[12,19,20]的方法都不相同.本文采用了两级约束:分割块之间约束和分割块内像素间约束,而文献[12,19,201只利用了像素之间的几何关系.在文献[20】中,采用线性截断代价函数(truncatedlinearcostfunctionforsmoothterm)作为平滑项,也未能很好地解决倾斜平面的匹配问题.

本文利用分割块的上下文几何约束信息,即把郐域分割块之间的几何一致性约束强加给每一个分割块,把其作为全局能量函数中的一个数据项进行处理.为了消除奇异点(outlier),利用视差值概率分布信息判断可信像素点和可信分割块.然后利用全局能量函数,通过迭代的方法把可信分割块的视差信息传递给不可信分割块.本文主要有两个贡献:(1)采用了图像分割块上下文的几何约束;(2)使用视差概率统计信息得到视差值可信的像素点.

本文第l节概述本文算法.第2节采用MeanShift方法进行彩色图像分割.在第3节,采用改进的基于窗体立体匹配算法得到初始视差值.第4节利用初始视差值的概率分布先验知识,采用概率统计的方法确定可信像素点和可信图像分割块,利用可信视差像素点,采用平面拟合的方法估计出能够表示整个场景结构的视差平面集.第5节利用分割块之间和分割块内像素之间的两个层次约束来估计不可信像素的视差值.第6节是实验结

果,同时对本算法性能进行分析.第7节给出结论.

翟振刚等:利用块几何约束及视差概率的立体匹配算法29871算法概述

算法流程如图2所示:输入图像为两幅经过矫正的彩色图像,使用MeanShift方法分割图像,利用改进的局部立体匹配方法得到初始视差值,用视差值概率统计信息以及分割块的几何约束确定可信像素点和可信分割块,再根据分割块间和分割块内的约束确定不可信像素的视差值.

Estimatc

/pairs/?盘㈡reference卜+Segmem『tmage/Re‘,'tiffed/GetinitialdisparityDcefined+pixelsandur竹eliable辩粤ncms_.'dis耐ty+planeSetGctdisparityofunrelialble

pixelsand

se冒n:ms●----.-----------J

Fig.2Blockdiagramoftheproposedmethod

图2算法流程图

在本算法中,采用了改进的基于窗体局部立体匹配方法SAD(sumoftheabsoluteintensi移differences)得到像素点的初始视差值.为了得到更准确的初始视差值,在局部的能量方程中增加了梯度信息.实验结果表明,采用修正后的基于窗体局部立体匹配方法提高了立体匹配的精度.

在得到初始视差值之后,经过交叉验证(cross.checking)和视差统计信息,确定可信像素和可信分割块.在推理阶段,主要是从两个层次上进行推理:分割块之间推理和分割块内的像素之间推理.在分割块之间进行推理时,把分割块上下文的几何一致性约束作为全局能量函数的一项进行处理.在每次迭代时,对于选定的分割块,在邻域分割块的几何约束下,通过能量函数最小化,从视差平面集合中选择一个最优视差平面,而不是从邻域图像分割块中选择一个视差平面作为最优解.在分割块内像素之间进行推理时,利用了视差值概率分布先验知识,在得到分割块最优视差平面后,重新确定可信视差点.最后,利用新的可信像素点视差信息得到分割块内不可信像素点的视差值.

2彩色图像分割

本文采用MeanShiftt:21】算法对参考图像进行过分割(over-segm铋tation),把参考图像分割成颜色相同各个均质(homogenouscolor)的图像块,参数设置为:hs=lO,h产7,M=30.h,是空间带宽(spatialbandwidth),.以是颜色带宽(rangeorcolorbandwidth),M是图像分割块的最小像素数(minimumsegmentsize).在实验部分,对参数进行了分析讨论.

3初始视差

通过改进基于窗体立体匹配算法,得到像素初始视差值.局部能量函数采用SAD,同时增加了一阶梯度和二阶梯度信息.

Ek矿Z氛+静(死曙矿死昭吨)

其中,(1)

(2)

(3)

(4)‰=∑I‘(f,j)-L(i+d,.川瓴jkN(i'n‰d=‘f,』)e'v‘f√)∑lV工(f,j)-v,Jr(i+d,川+

(j,,)∈^,(i,,)∑IV,厶(f,_,)一V,‘(f+d,川‘f.,)EⅣ(f.,)其中,如。是总的能量;‰是测量两个像素的相似程度的数据项;%鲥,‰分别是图像一阶梯度和二阶梯度;/v(//)是一个以(f刃为中心像素的5x5的窗体,在计算乃倒,轴时与文献【21】不同,本文采用了Ⅳ(f力是邻域范围内的所有像素;V,,B是水平和垂直方向的一阶导数;V:,V:是水平和垂直方向的二阶导数;及f∥)是图像的颜色‰d2=∑IVZ(f,j)-V:Ir(i+a,川+(f,,)EⅣ(f,,)∑lV;‘(f,j)-v2/,O+d,,川

2988JournalofSoftware软件学报V01.21,No.11,November2010信息,本文把图像RGB通道的相似性进行了简单求和,并且求取其均值作为以∽的值;权重吐堤一个正的恒定值.4可信视差判断及视差平面集估计

分割块视差平面是利用每个分割块内可信像素点的视差信息,采用平面拟合的方法得到的.所以,首要任务就是确定町信视差点.

4.1可信视点的判断

首先采用交叉验证(crosschecking)[22】的方法得到比较可信的视差点,过滤掉遮挡像素点和弱纹理区域像素点.D,和D,分别表示左视差图和右视差图.

交叉验证公式如下:

ID,O∥)十D舡+翻孓∥)∥)I<1

右图像中像素点存在一一对应关系.如果公式(5)不成立,那么该像素的视差值为不可信点;相反,其可信.(5)其中,@力和”矾x∥)∥)分别是左、右图像中对应匹配点.由唯一性约束可以推导出公式(5),唯一性约束是确保左

然后,利用颜色分割的信息和视差概率分布信息进一步确定可信和不可信像素点与文献[23,24]类似,再次利用视差概率分布信息判断出可信分割块和不可信分割块.在文献[23】中,把高度可信像素点称为地面控制点GCPs(groundcontrolpoints),其主要是通过最优视差值的能量和次最优视差值的能量进行比较得到GCPs.在文献[24】中,主要是通过4种先验滤波的方法得到GCPs.而在本文中,是通过视差概率统计信息,确定可信视差值.

在每个图像分割块中,如果不可信像素数和同一图像分割块中所有像素数的比值厶大于闽值屯那么整个分割块中所有像素的视差值都不可信,这个分割块就是不可信分割块;如果厶小于阈值磊,那么分割块就是可信分割块,然后按照下面的方法进一步判断其内的可信像素.

在每个可信的图像分割块&中,如果具有相同视差值d的像素个数和同一分割块岛中的像素个数的比值五州小于阈值4。,那么在这一分割块J,中,具有视差值d的所有像素点就是不可信点;相反,就是可信点.

两次判断公式如下:

%2葡>岛厶=等>4

钿2面<%‰=鲁<屯

值.本文采用了固定阈值.

4.2视差平面集的估计(6)㈣(7)L7J其中,慨是分割块中所有像素数;NBs。是这一分割块中不可信的像素数;加甜是在同~分割块中,具有某一个视差值d像素数;砧和钿是两个比例值;磊和屯是大于0的阈值,其取值可以采用固定阈值,也可以采用自适应阙

利用可信分割块中的可信像素点来估计视差平面,在每个可信分割块中,利用最小二乘法来估计初始视差平面.

d=arx+bi.y+ci(8)

其中,(口r,b川C)是图像分割块品视差平面的法向量,(x∥)是图像分割块&中可信像素点的坐标,d是像素(x力的视差值.在每一个图像分割块的视差平面估计出来之后,把具有相同视差平面并且相邻的图像分割块融合在一起进行重新估计.经过不同次数迭代处理之后,所有这些不同的视差平面就代表了整个场景结构,并构成一个视差平面集合—归{(口蝴b,cf),i=O,...朋.

5估计不可信像素的视差值

为了确定不可信像素点的正确视差值,利用了图像分割块之间的几何约束和分割块内像素点问的视差概率信息约束两个层次约束,估计不可信像素点的最优视差值.

翟振刚等:利用块几何约束及视差概率的立体匹配算法29895.1分割块间几何约束

对于分割块之间的平滑约束,除了要考虑相邻块之间的颜色和相关性约束以外,还需要考虑它们之间的几何约束,即视差平面的约束.如图3所示,这是一个俯视图,代表一个曲面4和曰是相邻的图像分割块工l和L2是分别是图像块彳和召的视差平面—“’和BB’分别是其法向量.为了让图像块之间保持平滑,必须考虑到它们之间的几何约束.

本文采用的方法是合作算法【24,25]的核心思想,即采用迭

代的方法和非线性处理的思路,把可信的分割块和像素的视

差信息传递给不可信的分割块和像素.对每一分割块j,,从视

差平面集合尸S中任意选择其中一个视差平面,计算等式(9)的

能量,选择最优的一个视差平面作为分割块毋的视差平面.在

计算等式(9)时,其邻域分割块的视差平面保持不变.遍历每一

分割块,直到满足迭代次数为止.

针对每个分割块s,,利用邻域可信分割块的视差平面信

息进行计算等式(9),而不考虑邻域内不可信的分割块的视差。..。Illustrationofthegeometricconstraint信息.如图4所示,图像分割块Sl,舵,韶,尉,舒,跖,所,在每次迭图3几何约束的示意图

代时,比如对图像分割块鼬进行计算,已知与其相邻的图像分割块S1,&,岛和舶是可信分割块,而舶和研是不可信分割块.在计算等式(9)时,考虑可信的分割块s1,妲,筠和舶的视差信息,而不考虑不可信的分割块驺和盯的视差信息.在这些可信图像分割块的视差平面保持不变的情况下,从视差平面集合中选择使等式(9)能量最小的视差平面,作为图像分割块尉的视差平面.

如果在分割块J,的邻域内没有可信的分割块,那么分割块5f就先不计算.通过多次迭代,可以先确定分割块5,邻域内不可信分割块的视差平面,把不可信分割块变成可信分割块,在下一次迭代中,利用邻域已经确定的分割块视差信息,得到分割块最的视差平面.如图5所示,针对分割块Sl,其相邻的分割块舵,∞,蹦,盯,SIO都足不可信的分割块,而分割块¥,跖,鹃,册是可信的分割块.我们可以先确定分割块Sl邻域中部分或者全部不可信分割块&,岛,舛,5"7,SlO的视差平面,邻域中部分或全部不可信的分割块就变成了可信分割块.然后在下一次的迭代过程中,就可以计算分割块S1的视差平面,通过多次的迭代就得到最优视差平面.

Fig.4GeometricconstraintinsegmentdomainFig.5Iterativeprocessinsegmentdomain

图4分割块之间几何约束示例图图5分割块之间的迭代过程

R是图像分割块的集合,s是视差平面的集合.图像分割块5i∈R所对应的视差平面.肛JE雎能量函数如下:

巨,(,)=&加(/)+乓。。。砌(/)+毛—。触(/)(9)

其中,巨,(厂)是图像分割块sf的能量,气幽。(Jr)是s,图像分割块的数据项,&一融(,)是图像分割块5i没有匹配像素的惩罚项,E~岫(厂)是图像分割块毋的平滑惩罚项.

气面。U)=∑z施(工,y)

(j,y)EⅣ,(10)

其中以是图像分割块毋内可信视差点的集合.

JournalofSoftware软件学报V01.21,No.11,November2010

&。删(厂)=‰㈣・舢j。/smateh

{‰=‰+m‘k.(11)(12)(13)f气。。h。(门=∑(%。岫・bolen(s:,墨)・geo(sj,墨)・colr(s:,丑)),.厂(墨)≠厂呜),酬“)“

其中,呱删=峨。是图像分割块毋中不可信像素数,而峨。是经过公式(5)~公式(7)判断之后得到的不可

bolen(s1,墨)=∑“乃,髓)IPj∈勺,Pr∈墨)(14)I&㈣(厂)=o'otherwise信像素.其中,分割块0是分割块毋邻域中可信分割块,‰删和璐册训一是对没有匹配像素和不连续像素的惩罚系数.

像素乃与Pf是4邻域关系,并且St禹Sj.其中,sj是毋邻域中可信分割块.

Colr(sy,&)=abs(mean(sj)一mean(sf))+O.5

r(15)、

,/,/NB,mean(葺)=I∑L《婶,yj)El((R(而,乃)+B(薯,)o)+G(鼍,yj))/3)1(16)

像素@,奶)是图像分割块J中的一个像素点,月伍,劫口阮J力,G(xt蝴是像素瓴劫的RGB通道的值,NBs是图像分割块中的所有像素数.其中,分割块研是分割块8i邻域中可信分割块.

geo(s:,&)爿IM,一M,犷(17)

其中,母是分割块毋邻域分割块中可信的分割块;M,和K是图像分割块研,町的视差平面法向量的归一化处理结果,可以通过下面的公式计算出来:

Ⅳ:㈢茜,,I/

其中,f罢,掣,l1是图像分割块视差平面的法向量,主要是通过公式(8)计算得到.L研oy/

f|.||2是2阶范式,公式(9)的时间复杂度为o(gZ),M是朋集合中视差平面数.公式(14)、公式(15)、公式(17)的时间复杂度为o(N2)∥是分割块数.

算法.

1.在每一次迭代过程中,针对每一个分割块最如果分割块s周围没有可信分割块,转第5步;否则,执行第

2步.

2.如果分割块S是可信视差分割块,则根据公式(9)计算匹配能量E1,如果分割块S是不可信视差分割块,

则其匹配能量蜀为无穷大.

3.从视差平面集合尸S中选取一个视差平面作为分割块S的视差平面,根据公式(9)计算其能量易。

4.比较匹配能量蜀和易:如果最小于易,更新分割块S的视差平面,如果分割块S是不可信视差分割块,

则把其标示为可信的分割块,把视差平面赋给分割块最并把易的值赋给El,然后返回第3步;如果易大

于蜀,则转第3步.

5.计算下一个分割块,直到所有分割块都遍历一边,然后进行下一次迭代.

本算法的时间复杂度是o(NM2D,其中∥是分割块的数量,M是船集合中视差平面的多少,r是迭代次数.即在每一次的迭代中,计算传递信息需要花费的时间为D(膨),而总共有D(Ⅳ)信息需要计算,所以本算法的时间复杂度较高.

5.2分割块内像素间的约束

利用分割块内像素间约束,主要目的是进一步剔除奇异点.在经过以上各步骤处理之后,每一个图像分割块都得到了最优的视差平面.然后,利用分割块视差平面,得到分割块中每一个像素视差值.对每一个图像分割块而言,利用不等式(7)进一步确定新的可信视差点.再利用这些新的可信点,采用平面拟合的方法得到分割块新的

翟振刚等:利用块几何约束及视差概率的立体匹配算法

视差平面,进而确定不可信视差点的视差值.这就是在图像分割块内像素点之间的最优化处理过程.如图6所示,横坐标表示像素点,纵坐标表示像素点所对应的视差值.在像素层次上进行最优化处理时,首先经过不等式(7)得到不可信视差点,在图6(a)中,用“卡”表示不可信的3个像素点视差值.利用像素间约束处理之后,得到这些不可信像素点的视差值,如图6(b)所示.

(a)Disparitybeforeprocessing(b)Disparityafterprocessing

(a)处理之间的视差值

Fig.6(b)处理之后的视差值Constraintinpixeldomain

图6分割块像素间的约束示例图

对于还没有视差值的不可信像素,利用公式(18)寻找合理的视差值作为像素@∽的视差值:

argnfm

“’.,’)EⅣ(x,y)X(x.y)abs(1(x,y)-X(x’,Y’))(18)其中黼)是像素(x∥)的6邻域范围内所有可信视差像素点的集合.

6实验结果及性能分析

在实验中,参数oaf5,8,--o.8,‘丢产O.Ol,锄。=5,cos髓--5.迭代次数是2.运行环境是Pentium(R)DCPU3.4GHZ主频,lG内存,在MATLAB环境中运行.本文采用从http://vision.middlebury.edu/stereo下载的标准测试图像Flowerpot,Woodl,Monopoly和从文献[19,26,27]得到的具有代表性的测试图Corridor,Parkingmeter.因为在这些图像中具有许多倾斜表面,并且非常具有挑战性.但是,Corridor,Parkingmeter没有标准的SCALE因子,同时也受噪声的影响,所以只能进行定性分析比较,没法进行定量分析.在标准测试图像Flowerpot,Woodl,Monopoly上进行了定性和定量分析比较,并对本算性能进行了分析.

图7显示了实验中每一步得到的结果图,从左向右是参考图像、分割后的图像、可信视差点的视差图(黑点表示不可信点,非黑点是可信视差点)、本文算法的结果图和文献【16】算法的结果图.第1行是图像CorridorIl9’271,具有256x256像素,并且具有11个像素的视差范围.第2行~第4行图像都是具有80个像素的视差范围的标准图像,第2行是大小为370x443的图像Monopoly.第3行图像Flowerpot大小为370x437.第4行是图像Woodl,其大小是370x457.这几幅测试图像都具有很多倾斜表面和曲面,并且具有很多弱纹理的区域,视察范围也比较大所以具有较大的挑战性.图8是图7中测试图像的真实视差图.

利用均方根误差(root.mean.squarederror,简称RMSE)和误匹配像素点的百分比(percentageofbadmatchingpixels)[11l对本文的算法和文献[16】的算法进行了定鼍比较,测试图像是具有多曲面,且具有80个视差值的图像Flowerpot和具有多倾斜平面且弱纹理比较多的图像Woodl,Monopoly.表1显示了比较结果.

图9从迭代次数的角度分析本算法的性能,从中可以看出迭代次数对结果的影响,实验图像是Flowerpot.图10从定量的角度分析图9的结果,图10绘出了由于迭代次数的不同所引起的误差变化情况(横坐标为迭代次数,纵坐标均方根误差和误匹配率).从结果可以看出,当迭代次数大于某一值时,误差急剧下降.由于采用的优化算法比较简单,将来可以采用较好的优化算法,比如图割(graphcuts)、信念传播(belief

处理.propagation)进行优化

2992JournalofSoft.are软件学报V01.21,No.11,November2010(a)Referenceimages(b)Segmentationof(a)

(b)(a)的分割结果

Fig.7(c)ReliabledispariW(d)Ourresult(e)Reql6】algofithmresults(a)参考图像(c)可信视差点(d)本算法结果(e)文献【16】的结果Resultsofouralgorithmeachstep

图7本文算法的每一步结果

(a)(b)

Fig.8(c)GroundtruthsofFig.7(d)

图8图7图像的真视差图

Table1RMSEandthepercentageofthebadmatchingpixels

表1均方根误差和误匹配率

Monopoly

AlgorithmsBadBad

matching

>l

0.561

O.7317BactFlowerpotBadBad>l0.60820.8208BadmashingRMSEmatchingmatching>2.50.51470.68699.43l>O.50.8390.9357WoodlBadBadBadRMSEmatching>0.5matching>2.5O.5ll4O.7205RMSEmatching>O.5matchingmatching>l>2.50.424l0.3249Ouralgorithm0.04520.63665.27270.7448Ref.【16】

algorithm0.2690.80639.99915.17930.9940.98440.9757

翟振刚等:利用块几何约束及视差概率的立体匹配算法

(丑)Iterationnumberis2彻Iterationnumberis5(c)Iterationnumberis15(d)Iterationnumberis20(a)迭代次数为2

Fig.9(b)迭代次数为5(c)迭代次数为15our(d)迭代次数为20Differentiterationnumber’sresultinalgorithm

图9不同迭代次数时的结果图

(a)RelationshipbetweeniterationnumberandRMSE(b)RelationshipbetweeniterationnumberandPBMPS

(a)RMSE与迭代次数的关系

Fig.10(b)PBMPS与迭代次数的关系RelationshipbetweeniterationnumberandtheRMSEorPBMPSon

Flowerpot(errorthreshold--1)

图lO当误差闽值为l时,在实验图Flowerpot上迭代次数与RMSE,PBMPS的关系

图ll显示了添加二阶梯度信息和没有添加二阶梯度信息的结果图,测试图像为Monopoly.没有添加二阶梯度信息的结果图,其均方根误差为8.759,阈值大于l的误匹配率为0.6366;而在添加了二阶导数信息之后,其结果图的均方根误差为8.7075,阈值大于1的误匹配率为O.6347.可以看出,添加的二阶导数信息提高了匹配的准确性.

(a)Resultofnoaddingthesecondorderinformation(b)Resultofaddingthesecondorderinformation

(a)没有添加二阶梯度信息的结果图

Fig.IIInfluenceofthesecondgradientinformation(b)添加二阶梯度信息的结果图ontheresult(errorthreshold=1)

图11当误差阈值为l时。二阶梯度信息对匹配结果的影响

表2给出了本算法和文献[16】算法的运行时间,由于本算法是在matlab环境中运行,通过多次运行,得到一

个平均的时间.本算法时间复杂度较高,主要因为大部分时间花费在几何约束信息的计算上.

2994JournalofSoftware软件学报V01.21,No.11,November2010

1fable2Proceduretime013differenttestedimages

表2在不同测试图像卜的运行时间

g!型皇!!坚!翌!P!!z!!!!!亚!!塑!!!!

里罂!f出ii!!::!!!!!i塑丝§:!丝婴!丝!!!:i!!!丝i:!::丝!i!!三.

图像初始分割的结果对立体匹配具有一定的影响,如果图像的每一个分割块太小,每一个图像分割块图像信息不足,就不容易得到准确的匹配点;如果分割块太大,就容易把两个不同视差的物体误认为是同一视差,也容易产生误匹配.在图12和图13中,分别从定性和定量的角度分析了在过分割到欠分割各个状态下最终视差图的精度.

(a)hs=150,^尸7,/14--30

Fig.12(b)h,=10,h,.=150,M=30(c)hs=10,^,-7,M=1800(d)h,=10,h,--7,M=30Disparitymapsandsegmentresultsunderthedifferentsegmentalstates

图12不同分割状态下的视差图和分割结果图

10.1

10.0

9.9

9.8

9,7

9.6

9.5

9.4

9.3

9.20.640.620.600.58O.560.720.700.680.66lO.O9.89.69.49.29.08.88.68.4

(a)RelationbetweentheRMSEandMCo)RelationbetweenthePBMPSandM

(a)肘与RMSE的关系

0.64

O.63

O.62

0.61

O.60

0.59

0.58

0.57

O.56

O.5510.O9.59.O8.5

012.512.O11.511.OlO.5(b)M与PBMPS的关系(c)RelationbetweentheRMSEand以(c)以与RMSE的关系50100150050lOO1"50

(d)RelationbetweenthePBMPSandh,(e)RelationbetweentheRMSEandhJ

(d)缸与PBMPS的关系

Fig.13Relationshipbetween(e)虬与RMSE的关系(0RelationbetweenthePBMPSandh,(0h,与PBMPS的关系RMSE,PBMPSandthedifferentsegmentalstates(errorthreshold=1)

图13

当误差阈值为1时,不同分割状态与RMSE,PBMPS的关系

翟振刚等:利用块几何约束及视差概率的立体匹配算法2995图12显示了不同分割状态下的视差图和分割结果图,不同的颜色代表不同的分割块,第1行是分割结果图,第2行是最后的视差图,真视差图是图8(c).在图13中,横坐标是分别是分割的空间带宽、颜色带宽和分割块的最小像素数,纵坐标是RMSE和PBMPS(errorthresholdfl),测试图像是Flowerpot.从图中可以看出,不同的分割状态下,得到的精度不相同针对公式(6)和公式(7)的两个阈值磊,百k,图14显示了其对均方根误差和误匹配率的影响.其中,图14(a)和图14(b)是阈值五与RMSE,PBMPS的关系,图14(c)和图14(d)是磊。与RMSE,PBMPS的关系.

(a)RelationbetweentheRMSEandthreshold4(b)RelationbetweenthePBMPSandthreshold磊

(a)阈值4与RMSE的关系

0.125

0.124

0.】23

0.122

O.12l

0.120

0.119

0.118

O.117

OO505O5O5O505O5O5O5O5(b)阈值4与PBMPS的关系坶姆":¨心¨mO

(c)RelationbetweentheRMSEandthreshold&(d)RelationbetweenthePBMPSandthreshold屯

(e)阈值如与RMSE的关系

Fig.14(d)阈值艮与PBMPS的关系thedifferentRMSE,PBMPS(errorthreshold=1)under4,觅values

图14阈值矗屯对RMSE,PBMPS(误差阈值=1)精度的影响

在图15、图16中,本文的算法与文献[16,19]的算法以及其他算法的结果进行了比较.从结果可以看出:本文的算法比文献[16】的结果要好;与文献[19】的算法比较,在平滑性和边界的保持上比较具有优势,特别是在大块具有倾斜平面的场景中(如墙壁等)具有优势;而与其他算法,比如传统的sumofsquareddifference(SSD)、图割(graphcuts)和协作算法(cooperativealgorithm)的结果相比较,具有明显好的效果.但对于如图16中花的叶子等细小的物体,得到的结果不是很准确;而与其他算法,比如传统的sum

法结果相比较。具有明显优势.

从所有实验结果可以看出,本文提出的算法具有较好的性能,特别是在图像场景中具有很多倾斜表面和曲面时,本算法得到的效果更好,如图7中的Monopoly和Woodl.同时,在边界的保持上也具有明显的优势.但是,本算法对于狭小的物体或细小的物体,如图16中灌木的叶子等,立体匹配的准确性不是很好.这主要是由于本算法受到分割的影响,对狭小的物体进行分割之后,分割区域内元素较少,信息量不是很充分,所以引起的匹配精度不是很高,除此之外,本算法的复杂度也是比较高的,将来可以优化代码,提高运行时间.ofsquareddifference(SSD)、图割和协作算

2996JournalofSoftware软件学报V01.21,No.1l,November2010

(a)Leftimage

(a)左视图(b)Ourresult(c)Ref.[16】algorithmresult(c)文献[161的结果(d)Ref.09】algorithmresult(d)文献【19】的结果(”本文算法结果

(e)TraditionalSSDresult(f)Traditionalgraphcutsresult(g)Traditionalcooperativealgorithmresult

(e)传统的SSD结果

Fig.15(f)传统图割算法结果Comparisonofdifferentalgorithmson(g)传统协作算法结果Corridor

图15Corridor测试图不同算法结果比较

(a)Leftimage(b)Ourresult(c)lkf.[16】algorithmresult(d)Ref.[19】algorithmresult

(8)左视图(b)本文算法结果(c)文献[161的结果(d)文献【19】的结果

(e)TraditionalSSD他sult(f)Traditionalgraphcmsresult(g)Traditionalcooperativealgorithmresult

(c)传统的SSD结果

Fig.16(f)传统图割算法结果ComparisonofdifferentalgorithmsOil(g)传统协作算法结果Parkingmeter

图16Parkingmeter测试图不同算法结果比较

7结论

在本文中,为了得到更准确的初始视差值,对局部的能量函数进行改进,添加了梯度信息.针对立体匹配中

倾斜平面和曲面的匹配问题,本算法利用分割块的几何约束和视差概率分布信息,采用两级约束推理策略计算

翟振刚等:利用块几何约束及视差概率的立体匹配算法2997像素的视差值.在分割块之间的推理过程中,采用了上下文分割块的几何约束,通过迭代的方法使每个分割块都得到最优视差平面.在分割块内像素点之间的推理过程中,利用视差概率分布信息准确地估计了不可信像素的视差值.在实验部分,利用具有更富有挑战性的图像数据以及国际上标准的挑战性图像数据进行测试,并且与其他相关算法进行定性和定量比较,并对本算法进行了性能分析.从比较实验结果可以看出,本算法提高了立体匹配的精度,但缺点是时间复杂度较高.由于本文的算法受到图像分割的影响,针对细小物体(如树叶等),效果不是很好.下一步我们将考虑如何提高细小物体的匹配精度,特别是具有曲面的细小物体.另外,在采用更好的优化算法以及提高算法的准确性,并且在判断可信点时,阈值的选择上也有探讨的空间.

致谢感谢Felzenszwalb和Huttenlocher公开文献B6]的代码,从他们的网站E可以下载.同时感谢Scharstein和Szeliski提供了标准的国际测试图像数据.感谢匿名审稿争家教授和编辑部老师提出的宝贵修改意见.

Re-ferenees:

【l】HongL,ChertG.Segment-Basedstereomatchingusinggraphcuts.In:Proc.oftheIEEEComputerSocietyConf.onComputer

VisionandPatternRecognition,V01.1.IEEEComputerSociety,2004.74—81.

【2】YangQX,WangL,YangRG,SteweniusH,NisterD.Stereomatchingwithcolor-weightedcorrelation,hierarchicalbelief

andpropagation,andocclusion

10.1handling.IEEETrans.onPatternAnalysisMachineIntelligence。2009,31(3):492—504.【doi:109/TPAMI.2008.99】

B,ZitnickCL.Stereoreconstructionwithmixedpixelsusingadaptiveover—segmenmtion.In:Proe.ofthe

on【3】TagnchiY,WilbumIEEEComputerSocietyConeComputerVisionandPaRernRecognition.IEEEComputerSociety,2008.1-8.

【4】Bleyer

Int’lM,Gelaut2M.Graph—Basedsurfacereconstructionfromstereopairsusingimagesegmentation.In:Proc.ofthesPIE-111eSocietyforOpticalEngineering,Voi.5665.2005.288—299.

NN,ShumHY.Stereomatchingusingbeliefpropagation.IEEETrans.onPattemAnalysisandMachineIntelligence,【51SunJ,Zheng

2003,25(7):787—800.【doi:10.1109/TPAMI.2003.1206509]

【61XuL,JiaJY.Stereomatching:anoutlierconfidenceapproach.Proc.oftheEuropeanConf.onComputerVision,2008,4:775—787.

ZH.Dense【7】ChenW,ZhangMJ,Xiong

Journalofmatchingalgorithmbasedonregionboundaryrestrictionviagraphcutsoptimization.Software,2005。16(6):960—969(inChinesewithEnglishabstract).http://www.jos。org.on/1000-9825/16/960.htm【doi:10.136000s160960】

f8】WenGJ.Aglobalalgorithmforstraightlinestereomatchingbasedonfoamregrouping.JournalofSoftware,2006,17(12):

2471-2484(inChinesewithEnglishabstract).http://wwwjos.org.cn/1000—9825/17/2471.htm【doi:10.136000s172471】

【91Agrawal

VisionM,DavisL.Window・Based,discontinuitypreservingstereo.In:Proc.oftheIEEEComputerSocietyConf.onComputerandPanernRecognition。V01.1,2004.166—173.

stereo【lO】LiMX,JiaYD.Adaptiveaggregationbasedcooperative

withEnglishvision.JournalofSoftware,2008,19(7):1674—1682(inChineseabstract).http://www.jos.org.cn/1000—9825/19/1674.htm【doi:10.3724/SP.J.1001.2008.01674】

stereo【1l】ScharsteinD。SzeliskiR.Ataxonomyandevaluationofdensetwo-frame

ComputerVision,2002.47:7—42.correspondencealgorithms.Int’lJournalof

[12】LiG,ZuckerSW.Differentialgeometricconsistencyextendsstereotocurvedsurfaces.In:Proc.oftheEuropeanConf.on

ComputerVision.2006.44—57.

113]SunJ,“Y,KangS,Shum

onHY.Symmetricstereomatchingforocclusionhandling.In:Proc.oftheIEEEComputerSocietyConf.ComputerVisionandPatternRecognition,V01.11.2005.399-406.

on【“】WenGJ,ZhouXZ.Stereomatchingandlargeocclusiondetectionbaseddisparitypoints.JournalofSoftware,2005,16(5):

708—717(inChinesewithEnglishabstract).hrtp://www.jos.org.on/1000・9825/16/708.htmIdol:10.1360/josl60709】

【l砖LinXY,LiuY,DaiWZ.Studyofocclusionsprobleminstereovision.In:Proc.ofthe7thIEEEworldCongress帆Intelligent

ControlandAutomation.2008.5062-5067.

PF,Huttenlocherf16】Felzanszwalb

i5-79.DP.Efficientbeliefpropagationforearlyvision.Int’1JournalofComputerVision,2006,61(1):

2998JournalofSoftware软件学报V01.21,No.11,November2010

【17】OhJD。MaSW。KuoCCJ.Stereomatchingviadisparityestimationandsurfacemodeling.In:Proc.oftheIEEEComputerSociety

Conf.onComputerVisionandPatternRecognition.2007.1—8.

【18】Ogale

IEEEAS,AloimonosY.Stereocorrespondencewithslantedsurfaces:Criticalimpticationsofhorizontalslant.In:Proc.oftheComputerSocietyConf.onComputerVisionandPaRernRecognition.2004.1568-1573.

SW.Stereoforslantedsurfaces:Firstorderdisparitiesandnormalconsistency.In:Proc.oftheEnergyMinimization[19】LiG.Zucker

MethodsinComputerVisionandPatternRecognition.2005.617-632.

[20】LiG.ZuckerSW.Surfacegeometriccons仃aintsforstereoinbeliefpropagation.In:Proc.oftheIEEEComputerSocietyConf.on

ComputerVisionandPaRernRecognition。V01.2.2006.2355-2362.

[21】ComaniciuD。MeerP.MeanshiftArobustapproachtowardfeaturespaceanalysis.IEEETrans.onPatternAnalysisandMachine

Intelligence,2002,24(5):603-619.[doi:10.1109/34.1000236】

【22】KlausA,SormannM,KarnerK.Segment-Basedstereomatchingusingbeliefpropagationand

18thInt’lConLonaself-adaptingdissimilaritymeasure.In:Proc.ofthe

【23]PatternRecognition.2006.15一18.stereoWeiYC.QuanL.Region—Basedprogressivematching.In:Proc.oftheIEEEComputerSocietyConf.0nComputerVision

andPatternRecognition.V01.1.2004.1106-1113.

[241

【25】BobickAF,IntiileSS.Largeocclusionstereo.Int’lJournalofComputer,1999,33(3):181-200.ZG.AregionWangZF,Zheng

SocietyConf.011basedstereomatchingalgorithmusingcooperativeoptimization.In:Proc.oftheIEEEComputerComputerVisionandPatternRecognition.2008.1-8.

optimizationforenergyminimization:Acase【26】HuangXF.Cooperativestudyofstereomatching.2007.http://front.math.ucdavis.

edu/author/X.Huang,cs.CV/0701057

【27】FrohlinghausT.Buhmann

45l—455.JM.Regularizingphase—basedstereo.In:Proe.ofthe13thInt’IConf.ORPatternRecognition.1996.

附中文参考文献:

【7】陈旺,张茂军,熊志辉.基于区域边界约束和图割优化的稠密匹配算法.软件学报,2005,16(6):960—969.http://wwwdos.org.cn/

1000-9825/16/960.htm【doi:10.1360/josl60960】

【8】文贡坚.一种基于特征编组的直线立体匹配全局算法.软件学报,2006,17(12):2471-2484http://wwwdos.org.en/1000—9825/17/

2471.htm【doi:10.1360/josl72471]

【10】李鸣翔,贾云得.基于自适应聚合的立体视觉合作算法.软件学报,2008,19(7):1674-1682

1674.htm【doi:10.3724/SP.J.1001.2008.01674】http://wwwdos.org.Ol/1000・9825/19/

【14】文贡坚,周秀芝.基于视差点的大遮挡检测和立体匹配方法.软件学报,2005,16(5):708—717http://wwwdos.org.cn/1000・9825/16/

708.htm【doi:10.1360/josl60708】

翟振8U(1979--),男,山西河津人,博士生,

助教,主要研究领域为计算机视觉,模式识

别。三维目标识别.赵t"r(1979--),女,博士生,讲师,主要研究

领域为图像超分辨率,模式识别.

陆耀(1958--),男,博士,教授,博士生导师,

主要研究领域为计算机视觉,模式识别,人

工智能.

利用块几何约束及视差概率的立体匹配算法

作者:

作者单位:翟振刚, 陆耀, 赵红, ZHAI Zhen-Gang, LU Yao, ZHAO Hong翟振刚,ZHAI Zhen-Gang(北京理工大学,计算机科学技术学院,智能信息技术北京市重点实验

室,北京,100081;防空兵指挥学院,河南,郑州,450052), 陆耀,LU Yao(北京理工大学,计算

机科学技术学院,智能信息技术北京市重点实验室,北京,100081), 赵红,ZHAO Hong(北京理

工大学,计算机科学技术学院,智能信息技术北京市重点实验室,北京,100081;河北大学,数学

与计算机科学技术学院,河北,保定,071002)

软件学报

JOURNAL OF SOFTWARE

2010,21(11)刊名:英文刊名:年,卷(期):

参考文献(31条)

1. Hong L. Chen G Segment-Based stereo matching using graph cuts 2004

2. Yang QX. Wang L. Yang RG. Stewenius H Nister D Stereo matching with color-weighted

correlation,hierarchical belief propagation,and occlusion handling 2009(3)

3. Taguchi Y. Wilburn B. Zitnick CL Stereo reconstruction with mixed pixels using adaptive over-segmentation 2008

4. Bleyer M. Gelautz M Graph-Based surface reconstruction from stereo pairs using image segmentation2005

5. Sun J. Zheng NN. Shum HY Stereo matching using belief propagation 2003(7)

6. Xu L. Jia JY Stereo matching:an outlier confidence approach 2008

7. Chen W. Zhang MJ. Xiong ZH Dense matching algorithm based on region boundary restriction via graphcuts optimization 2005(6)

8. 文贡坚 一种基于特征编组的直线立体匹配全局算法 2006(12)

9. Agrawal M. Davis L Window-Based,discontinuity preserving stereo 2004

10. LI Ming-Xiang. 贾云得 基于自适应聚合的立体视觉合作算法 2008(7)

11. Scharstein D. Szeliski R A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms 2002

12. Li G. Zucker SW Differential geometric consistency extends stereo to curved surfaces 2006

13. Sun J. Li Y. Kang S. Shum HY Symmetric stereo matching for occlusion handling 2005

14. 文贡坚. 周秀芝 基于视差点的大遮挡检测和立体匹配方法 2005(5)

15. Lin XY. Liu Y. Dai WZ Study of occlusions problem in stereo vision 2008

16. Felzenszwalb PF. Huttenlocher DP Efficient belief propagation for early vision 2006(1)

17. Oh JD. Ma SW. Kuo CCJ Stereo matching via disparity estimation and surface modeling 2007

18. Ogale AS. Aloimonos Y Stereo correspondence with slanted surfaces:Critical implications ofhorizontal slant 2004

19. Li G. Zucker SW Stereo for slanted surfaces:First order disparities and normal consistency 2005

20. Li G. Zucker SW Surface geometric constraints for stereo in belief propagation 2006

21. Comaniciu D. Meer P Mean shift:A robust approach toward feature space analysis 2002(5)

22. Klaus A. Sormann M. Karner K Segment-Based stereo matching using belief propagation and a self-adapting dissimilarity measure 2006

23. Wei YC. Quan L Region-Based progressive stereo matching 2004

24. Bobick AF. Intille SS Large occlusion stereo 1999(3)

25. Wang ZF. Zheng ZG A region based stereo matching algorithm using cooperative optimization 2008

26. Huang XF Cooperative optimization for energy minimization:A case study of stereo matching 2007

27. Frohlinghaus T. Buhmann JM Regularizing phase-based stereo 1996

28. 陈旺. 张茂军. 熊志辉 基于区域边界约束和图割优化的稠密匹配算法 2005(6)

29. 文贡坚 一种基于特征编组的直线立体匹配全局算法 2006(12)

30. LI Ming-Xiang. 贾云得 基于自适应聚合的立体视觉合作算法 2008(7)

31. 文贡坚. 周秀芝 基于视差点的大遮挡检测和立体匹配方法 2005(5)

本文链接:http://d.g.wanfangdata.com.cn/Periodical_rjxb201011023.aspx

ISSN1000・9825,CODENRUXUEW

JournalofSoftware,V01.21,No.11,November2010,PP.2985-2998

doi:10.3724/SP.J.1001.2010.03695

@byInstituteE-mail:jos@iscas.ac.enhnp:I/www.jos.org.cnTel/Fax:+86-10-62562563ofSoftware.theChineseAcademyofSciences.Allrightsreserved.

利用块几何约束及视差概率的立体匹配算法牛

翟振刚1≯,陆耀1,赵红1’3

1(北京理工大学计算机科学技术学院智能信息技术北京市重点实验室,北京

2(防空兵指挥学院,河南郑州450052)

3(河北大学数学与计算机科学技术学院,河北保定071002)

UsingSegmentGeometricConstraintandDisparityProbability100081)StereoMatchingAlgorithm

ZHAIZhen.Gan91斗,LUYa01,ZHAOHon91,3

1(BeijingKeyLaboratoryofIntelligentInformationTechnology。SchoolofComputerScienceandTechnology,BeijingInstituteofTechnology,Beijing100081,China)

2(AirDefenseForcesCommandAcademy,Zhengzhou450052,China)

3(CollegeofMathematicsandComputerScience,HebeiUniversity,Baoding071002,China)

+Correspondingauthor:E-mail:zz_gang@bit.edu.cn

ZhaiZG,LuY,ZhaoH.Stereomatchingalgorithmusingsegmentgeometricconstraint

probability.JournalanddisparityofSoftware,2010,21(11):2985—2998.http://www.jos.org.cn/1000-9825/3695.htm

orAbstract:Tohandletheslantedcurvedsurfacesinstereomatching,the

areadjacentsegmentgeometricconstraintandthestatisticalinformationofdisparity

incorporatedinaadoptedintoaproposedalgorithm.Thesegmentgeometricconstraintistheoptimalplaneofeach

anewglobalenergyfunctionacquiresegment.Thestatisticalinformationofdisparityisadoptedtofindthereliabledisparitypixeland

arereliablesegment.Theconstraintsarebetweenthesegmentsandpixelsused

atoestimatethedisparityoftheunreliablepixels.Experimentsperformedontheclassicalimageswithlargerdisparityrange,moreslantedsurfaces,andsurfacewithlesstexture

andshowtheeffectivenessoftheproposedalgorithm.

Keywords:stereomatching;disparity;slantedsurface;curvedsurface;geometricconstraint;statistical

information

摘要:为了解决倾斜表面或曲面的匹配问题,提出了一种基于图像分割块之间的几何约束和视差值的概率分布信息的视差估算方法.在一个全局能量函数中增加了图像分割块之间的几何约束项,通过计算匹配能量得到分割块的最优视差平面.为了确定可信像素和可信分割块.利用了视差的概率分布信息.同时,利用了分割块之间的几何约束和分割块内像素之间的约束来估计不可信像素点的视差值.用包含大视差范围,更多倾斜表面、曲面和弱纹理表面等典型图像对所建议的算法进行测试,实验结果表明,该方法对于存在倾斜表面和曲面的立体视差计算是有效的.关键词:立体匹配;视差;倾斜表面;曲面;几何约束;统计信,总

文献标识码:A中图法分类号:TP391

・SupportedbytheBeijingKeyDisciplineConstructionProgramofChina(北京市重点学科建设规划项目)Received2008一i1-26;Revised2009—04—27;Accepted2009—・07・17

2986JournalofSoftware软件学报Vol,21,No.11,November2010

立体匹配是计算机立体视觉中一个重要的研究方向,近几年来有许多文献【l卅都在研究这个问题。根据所采用优化方法的不同,立体匹配算法可以分为两大类:全局匹配算法[5-s]和局部匹配算法19,10].虽然在文献【ll】中提到了许多算法,但是在弱纹理区域【12】、深度不连续【”】和遮挡区域[14,15]情况下,立体匹配算法仍面临着很多难题.此外,倾斜平面和曲面的匹配在研究中很少涉及,许多算法基本上采用了正面平行表面模型假设.即在进行匹配时,认为某一分割块内像素的视差值是一个恒定值.而现实中许多场景却不符合这种假设,所以采用当前的算法,在对具有许多倾斜表面和曲面的场景进行立体匹配时会产生误差,容易产生阶梯波纹的视差图.即使文献

【16]采用了截取平滑项,也不能很好地解决倾斜平面立体匹配问题,如图l(c)所示.

(a)Leftimage(b)Rightimage(c)Ref.[16】result(d)Groundtruth

(a)左视图(b)右视图(c)文献【16】的结果(d)真视差图

Fig.1Illuminationofslantedplaneinstereomatching

图1立体匹配中倾斜平面问题

为了提高倾斜表面和曲面的匹配精度,文献【17]利用分段线性曲面模型(piecewiselinearsurfacemodel)表示空间几何结构.根据视差空间的梯度信息,把采用MeanShift方法得到的图像分割块进一步细分,然后排除像素点的匹配奇异点,采用平面拟合方法得到视差值.该方法是把大的曲面分割成非常小的曲噍i小块,近似认为这些小块曲面具有同一视差值,即小块内的所有像素具有相同的视差值.

在文献[18】中,为了解决倾斜表面问题,Ogale和Aloimonos提出了基于扫描线的立体匹配算法(scan.1inebasedmatchingalgorithm).在文献【12,19,20】中,“和Zucker针对倾斜表面和曲面立体匹配问题提出了解决问题的方法.文献[19】能量函数中,融合了视差的一阶导数信息来解决倾斜表面的立体匹配问题;文献[12】利用了相邻像素点要满足几何一致性约束上下文几何信息(contextualgeometricinformation);文献【20】在能量函数中加入像素的几何约束.文献[12,19,20]都是采用像素的上下文几何约束(pixel.wisecontextualgeometricconstraint)信息,而本文采用分割块的上下文几何约束(segmentcontextualgeometricconstraint)信息和视差概率分布信息.在确定不可信像素的视差值时,采用的处理方法和文献[12,19,20]的方法都不相同.本文采用了两级约束:分割块之间约束和分割块内像素间约束,而文献[12,19,201只利用了像素之间的几何关系.在文献[20】中,采用线性截断代价函数(truncatedlinearcostfunctionforsmoothterm)作为平滑项,也未能很好地解决倾斜平面的匹配问题.

本文利用分割块的上下文几何约束信息,即把郐域分割块之间的几何一致性约束强加给每一个分割块,把其作为全局能量函数中的一个数据项进行处理.为了消除奇异点(outlier),利用视差值概率分布信息判断可信像素点和可信分割块.然后利用全局能量函数,通过迭代的方法把可信分割块的视差信息传递给不可信分割块.本文主要有两个贡献:(1)采用了图像分割块上下文的几何约束;(2)使用视差概率统计信息得到视差值可信的像素点.

本文第l节概述本文算法.第2节采用MeanShift方法进行彩色图像分割.在第3节,采用改进的基于窗体立体匹配算法得到初始视差值.第4节利用初始视差值的概率分布先验知识,采用概率统计的方法确定可信像素点和可信图像分割块,利用可信视差像素点,采用平面拟合的方法估计出能够表示整个场景结构的视差平面集.第5节利用分割块之间和分割块内像素之间的两个层次约束来估计不可信像素的视差值.第6节是实验结

果,同时对本算法性能进行分析.第7节给出结论.

翟振刚等:利用块几何约束及视差概率的立体匹配算法29871算法概述

算法流程如图2所示:输入图像为两幅经过矫正的彩色图像,使用MeanShift方法分割图像,利用改进的局部立体匹配方法得到初始视差值,用视差值概率统计信息以及分割块的几何约束确定可信像素点和可信分割块,再根据分割块间和分割块内的约束确定不可信像素的视差值.

Estimatc

/pairs/?盘㈡reference卜+Segmem『tmage/Re‘,'tiffed/GetinitialdisparityDcefined+pixelsandur竹eliable辩粤ncms_.'dis耐ty+planeSetGctdisparityofunrelialble

pixelsand

se冒n:ms●----.-----------J

Fig.2Blockdiagramoftheproposedmethod

图2算法流程图

在本算法中,采用了改进的基于窗体局部立体匹配方法SAD(sumoftheabsoluteintensi移differences)得到像素点的初始视差值.为了得到更准确的初始视差值,在局部的能量方程中增加了梯度信息.实验结果表明,采用修正后的基于窗体局部立体匹配方法提高了立体匹配的精度.

在得到初始视差值之后,经过交叉验证(cross.checking)和视差统计信息,确定可信像素和可信分割块.在推理阶段,主要是从两个层次上进行推理:分割块之间推理和分割块内的像素之间推理.在分割块之间进行推理时,把分割块上下文的几何一致性约束作为全局能量函数的一项进行处理.在每次迭代时,对于选定的分割块,在邻域分割块的几何约束下,通过能量函数最小化,从视差平面集合中选择一个最优视差平面,而不是从邻域图像分割块中选择一个视差平面作为最优解.在分割块内像素之间进行推理时,利用了视差值概率分布先验知识,在得到分割块最优视差平面后,重新确定可信视差点.最后,利用新的可信像素点视差信息得到分割块内不可信像素点的视差值.

2彩色图像分割

本文采用MeanShiftt:21】算法对参考图像进行过分割(over-segm铋tation),把参考图像分割成颜色相同各个均质(homogenouscolor)的图像块,参数设置为:hs=lO,h产7,M=30.h,是空间带宽(spatialbandwidth),.以是颜色带宽(rangeorcolorbandwidth),M是图像分割块的最小像素数(minimumsegmentsize).在实验部分,对参数进行了分析讨论.

3初始视差

通过改进基于窗体立体匹配算法,得到像素初始视差值.局部能量函数采用SAD,同时增加了一阶梯度和二阶梯度信息.

Ek矿Z氛+静(死曙矿死昭吨)

其中,(1)

(2)

(3)

(4)‰=∑I‘(f,j)-L(i+d,.川瓴jkN(i'n‰d=‘f,』)e'v‘f√)∑lV工(f,j)-v,Jr(i+d,川+

(j,,)∈^,(i,,)∑IV,厶(f,_,)一V,‘(f+d,川‘f.,)EⅣ(f.,)其中,如。是总的能量;‰是测量两个像素的相似程度的数据项;%鲥,‰分别是图像一阶梯度和二阶梯度;/v(//)是一个以(f刃为中心像素的5x5的窗体,在计算乃倒,轴时与文献【21】不同,本文采用了Ⅳ(f力是邻域范围内的所有像素;V,,B是水平和垂直方向的一阶导数;V:,V:是水平和垂直方向的二阶导数;及f∥)是图像的颜色‰d2=∑IVZ(f,j)-V:Ir(i+a,川+(f,,)EⅣ(f,,)∑lV;‘(f,j)-v2/,O+d,,川

2988JournalofSoftware软件学报V01.21,No.11,November2010信息,本文把图像RGB通道的相似性进行了简单求和,并且求取其均值作为以∽的值;权重吐堤一个正的恒定值.4可信视差判断及视差平面集估计

分割块视差平面是利用每个分割块内可信像素点的视差信息,采用平面拟合的方法得到的.所以,首要任务就是确定町信视差点.

4.1可信视点的判断

首先采用交叉验证(crosschecking)[22】的方法得到比较可信的视差点,过滤掉遮挡像素点和弱纹理区域像素点.D,和D,分别表示左视差图和右视差图.

交叉验证公式如下:

ID,O∥)十D舡+翻孓∥)∥)I<1

右图像中像素点存在一一对应关系.如果公式(5)不成立,那么该像素的视差值为不可信点;相反,其可信.(5)其中,@力和”矾x∥)∥)分别是左、右图像中对应匹配点.由唯一性约束可以推导出公式(5),唯一性约束是确保左

然后,利用颜色分割的信息和视差概率分布信息进一步确定可信和不可信像素点与文献[23,24]类似,再次利用视差概率分布信息判断出可信分割块和不可信分割块.在文献[23】中,把高度可信像素点称为地面控制点GCPs(groundcontrolpoints),其主要是通过最优视差值的能量和次最优视差值的能量进行比较得到GCPs.在文献[24】中,主要是通过4种先验滤波的方法得到GCPs.而在本文中,是通过视差概率统计信息,确定可信视差值.

在每个图像分割块中,如果不可信像素数和同一图像分割块中所有像素数的比值厶大于闽值屯那么整个分割块中所有像素的视差值都不可信,这个分割块就是不可信分割块;如果厶小于阈值磊,那么分割块就是可信分割块,然后按照下面的方法进一步判断其内的可信像素.

在每个可信的图像分割块&中,如果具有相同视差值d的像素个数和同一分割块岛中的像素个数的比值五州小于阈值4。,那么在这一分割块J,中,具有视差值d的所有像素点就是不可信点;相反,就是可信点.

两次判断公式如下:

%2葡>岛厶=等>4

钿2面<%‰=鲁<屯

值.本文采用了固定阈值.

4.2视差平面集的估计(6)㈣(7)L7J其中,慨是分割块中所有像素数;NBs。是这一分割块中不可信的像素数;加甜是在同~分割块中,具有某一个视差值d像素数;砧和钿是两个比例值;磊和屯是大于0的阈值,其取值可以采用固定阈值,也可以采用自适应阙

利用可信分割块中的可信像素点来估计视差平面,在每个可信分割块中,利用最小二乘法来估计初始视差平面.

d=arx+bi.y+ci(8)

其中,(口r,b川C)是图像分割块品视差平面的法向量,(x∥)是图像分割块&中可信像素点的坐标,d是像素(x力的视差值.在每一个图像分割块的视差平面估计出来之后,把具有相同视差平面并且相邻的图像分割块融合在一起进行重新估计.经过不同次数迭代处理之后,所有这些不同的视差平面就代表了整个场景结构,并构成一个视差平面集合—归{(口蝴b,cf),i=O,...朋.

5估计不可信像素的视差值

为了确定不可信像素点的正确视差值,利用了图像分割块之间的几何约束和分割块内像素点问的视差概率信息约束两个层次约束,估计不可信像素点的最优视差值.

翟振刚等:利用块几何约束及视差概率的立体匹配算法29895.1分割块间几何约束

对于分割块之间的平滑约束,除了要考虑相邻块之间的颜色和相关性约束以外,还需要考虑它们之间的几何约束,即视差平面的约束.如图3所示,这是一个俯视图,代表一个曲面4和曰是相邻的图像分割块工l和L2是分别是图像块彳和召的视差平面—“’和BB’分别是其法向量.为了让图像块之间保持平滑,必须考虑到它们之间的几何约束.

本文采用的方法是合作算法【24,25]的核心思想,即采用迭

代的方法和非线性处理的思路,把可信的分割块和像素的视

差信息传递给不可信的分割块和像素.对每一分割块j,,从视

差平面集合尸S中任意选择其中一个视差平面,计算等式(9)的

能量,选择最优的一个视差平面作为分割块毋的视差平面.在

计算等式(9)时,其邻域分割块的视差平面保持不变.遍历每一

分割块,直到满足迭代次数为止.

针对每个分割块s,,利用邻域可信分割块的视差平面信

息进行计算等式(9),而不考虑邻域内不可信的分割块的视差。..。Illustrationofthegeometricconstraint信息.如图4所示,图像分割块Sl,舵,韶,尉,舒,跖,所,在每次迭图3几何约束的示意图

代时,比如对图像分割块鼬进行计算,已知与其相邻的图像分割块S1,&,岛和舶是可信分割块,而舶和研是不可信分割块.在计算等式(9)时,考虑可信的分割块s1,妲,筠和舶的视差信息,而不考虑不可信的分割块驺和盯的视差信息.在这些可信图像分割块的视差平面保持不变的情况下,从视差平面集合中选择使等式(9)能量最小的视差平面,作为图像分割块尉的视差平面.

如果在分割块J,的邻域内没有可信的分割块,那么分割块5f就先不计算.通过多次迭代,可以先确定分割块5,邻域内不可信分割块的视差平面,把不可信分割块变成可信分割块,在下一次迭代中,利用邻域已经确定的分割块视差信息,得到分割块最的视差平面.如图5所示,针对分割块Sl,其相邻的分割块舵,∞,蹦,盯,SIO都足不可信的分割块,而分割块¥,跖,鹃,册是可信的分割块.我们可以先确定分割块Sl邻域中部分或者全部不可信分割块&,岛,舛,5"7,SlO的视差平面,邻域中部分或全部不可信的分割块就变成了可信分割块.然后在下一次的迭代过程中,就可以计算分割块S1的视差平面,通过多次的迭代就得到最优视差平面.

Fig.4GeometricconstraintinsegmentdomainFig.5Iterativeprocessinsegmentdomain

图4分割块之间几何约束示例图图5分割块之间的迭代过程

R是图像分割块的集合,s是视差平面的集合.图像分割块5i∈R所对应的视差平面.肛JE雎能量函数如下:

巨,(,)=&加(/)+乓。。。砌(/)+毛—。触(/)(9)

其中,巨,(厂)是图像分割块sf的能量,气幽。(Jr)是s,图像分割块的数据项,&一融(,)是图像分割块5i没有匹配像素的惩罚项,E~岫(厂)是图像分割块毋的平滑惩罚项.

气面。U)=∑z施(工,y)

(j,y)EⅣ,(10)

其中以是图像分割块毋内可信视差点的集合.

JournalofSoftware软件学报V01.21,No.11,November2010

&。删(厂)=‰㈣・舢j。/smateh

{‰=‰+m‘k.(11)(12)(13)f气。。h。(门=∑(%。岫・bolen(s:,墨)・geo(sj,墨)・colr(s:,丑)),.厂(墨)≠厂呜),酬“)“

其中,呱删=峨。是图像分割块毋中不可信像素数,而峨。是经过公式(5)~公式(7)判断之后得到的不可

bolen(s1,墨)=∑“乃,髓)IPj∈勺,Pr∈墨)(14)I&㈣(厂)=o'otherwise信像素.其中,分割块0是分割块毋邻域中可信分割块,‰删和璐册训一是对没有匹配像素和不连续像素的惩罚系数.

像素乃与Pf是4邻域关系,并且St禹Sj.其中,sj是毋邻域中可信分割块.

Colr(sy,&)=abs(mean(sj)一mean(sf))+O.5

r(15)、

,/,/NB,mean(葺)=I∑L《婶,yj)El((R(而,乃)+B(薯,)o)+G(鼍,yj))/3)1(16)

像素@,奶)是图像分割块J中的一个像素点,月伍,劫口阮J力,G(xt蝴是像素瓴劫的RGB通道的值,NBs是图像分割块中的所有像素数.其中,分割块研是分割块8i邻域中可信分割块.

geo(s:,&)爿IM,一M,犷(17)

其中,母是分割块毋邻域分割块中可信的分割块;M,和K是图像分割块研,町的视差平面法向量的归一化处理结果,可以通过下面的公式计算出来:

Ⅳ:㈢茜,,I/

其中,f罢,掣,l1是图像分割块视差平面的法向量,主要是通过公式(8)计算得到.L研oy/

f|.||2是2阶范式,公式(9)的时间复杂度为o(gZ),M是朋集合中视差平面数.公式(14)、公式(15)、公式(17)的时间复杂度为o(N2)∥是分割块数.

算法.

1.在每一次迭代过程中,针对每一个分割块最如果分割块s周围没有可信分割块,转第5步;否则,执行第

2步.

2.如果分割块S是可信视差分割块,则根据公式(9)计算匹配能量E1,如果分割块S是不可信视差分割块,

则其匹配能量蜀为无穷大.

3.从视差平面集合尸S中选取一个视差平面作为分割块S的视差平面,根据公式(9)计算其能量易。

4.比较匹配能量蜀和易:如果最小于易,更新分割块S的视差平面,如果分割块S是不可信视差分割块,

则把其标示为可信的分割块,把视差平面赋给分割块最并把易的值赋给El,然后返回第3步;如果易大

于蜀,则转第3步.

5.计算下一个分割块,直到所有分割块都遍历一边,然后进行下一次迭代.

本算法的时间复杂度是o(NM2D,其中∥是分割块的数量,M是船集合中视差平面的多少,r是迭代次数.即在每一次的迭代中,计算传递信息需要花费的时间为D(膨),而总共有D(Ⅳ)信息需要计算,所以本算法的时间复杂度较高.

5.2分割块内像素间的约束

利用分割块内像素间约束,主要目的是进一步剔除奇异点.在经过以上各步骤处理之后,每一个图像分割块都得到了最优的视差平面.然后,利用分割块视差平面,得到分割块中每一个像素视差值.对每一个图像分割块而言,利用不等式(7)进一步确定新的可信视差点.再利用这些新的可信点,采用平面拟合的方法得到分割块新的

翟振刚等:利用块几何约束及视差概率的立体匹配算法

视差平面,进而确定不可信视差点的视差值.这就是在图像分割块内像素点之间的最优化处理过程.如图6所示,横坐标表示像素点,纵坐标表示像素点所对应的视差值.在像素层次上进行最优化处理时,首先经过不等式(7)得到不可信视差点,在图6(a)中,用“卡”表示不可信的3个像素点视差值.利用像素间约束处理之后,得到这些不可信像素点的视差值,如图6(b)所示.

(a)Disparitybeforeprocessing(b)Disparityafterprocessing

(a)处理之间的视差值

Fig.6(b)处理之后的视差值Constraintinpixeldomain

图6分割块像素间的约束示例图

对于还没有视差值的不可信像素,利用公式(18)寻找合理的视差值作为像素@∽的视差值:

argnfm

“’.,’)EⅣ(x,y)X(x.y)abs(1(x,y)-X(x’,Y’))(18)其中黼)是像素(x∥)的6邻域范围内所有可信视差像素点的集合.

6实验结果及性能分析

在实验中,参数oaf5,8,--o.8,‘丢产O.Ol,锄。=5,cos髓--5.迭代次数是2.运行环境是Pentium(R)DCPU3.4GHZ主频,lG内存,在MATLAB环境中运行.本文采用从http://vision.middlebury.edu/stereo下载的标准测试图像Flowerpot,Woodl,Monopoly和从文献[19,26,27]得到的具有代表性的测试图Corridor,Parkingmeter.因为在这些图像中具有许多倾斜表面,并且非常具有挑战性.但是,Corridor,Parkingmeter没有标准的SCALE因子,同时也受噪声的影响,所以只能进行定性分析比较,没法进行定量分析.在标准测试图像Flowerpot,Woodl,Monopoly上进行了定性和定量分析比较,并对本算性能进行了分析.

图7显示了实验中每一步得到的结果图,从左向右是参考图像、分割后的图像、可信视差点的视差图(黑点表示不可信点,非黑点是可信视差点)、本文算法的结果图和文献【16】算法的结果图.第1行是图像CorridorIl9’271,具有256x256像素,并且具有11个像素的视差范围.第2行~第4行图像都是具有80个像素的视差范围的标准图像,第2行是大小为370x443的图像Monopoly.第3行图像Flowerpot大小为370x437.第4行是图像Woodl,其大小是370x457.这几幅测试图像都具有很多倾斜表面和曲面,并且具有很多弱纹理的区域,视察范围也比较大所以具有较大的挑战性.图8是图7中测试图像的真实视差图.

利用均方根误差(root.mean.squarederror,简称RMSE)和误匹配像素点的百分比(percentageofbadmatchingpixels)[11l对本文的算法和文献[16】的算法进行了定鼍比较,测试图像是具有多曲面,且具有80个视差值的图像Flowerpot和具有多倾斜平面且弱纹理比较多的图像Woodl,Monopoly.表1显示了比较结果.

图9从迭代次数的角度分析本算法的性能,从中可以看出迭代次数对结果的影响,实验图像是Flowerpot.图10从定量的角度分析图9的结果,图10绘出了由于迭代次数的不同所引起的误差变化情况(横坐标为迭代次数,纵坐标均方根误差和误匹配率).从结果可以看出,当迭代次数大于某一值时,误差急剧下降.由于采用的优化算法比较简单,将来可以采用较好的优化算法,比如图割(graphcuts)、信念传播(belief

处理.propagation)进行优化

2992JournalofSoft.are软件学报V01.21,No.11,November2010(a)Referenceimages(b)Segmentationof(a)

(b)(a)的分割结果

Fig.7(c)ReliabledispariW(d)Ourresult(e)Reql6】algofithmresults(a)参考图像(c)可信视差点(d)本算法结果(e)文献【16】的结果Resultsofouralgorithmeachstep

图7本文算法的每一步结果

(a)(b)

Fig.8(c)GroundtruthsofFig.7(d)

图8图7图像的真视差图

Table1RMSEandthepercentageofthebadmatchingpixels

表1均方根误差和误匹配率

Monopoly

AlgorithmsBadBad

matching

>l

0.561

O.7317BactFlowerpotBadBad>l0.60820.8208BadmashingRMSEmatchingmatching>2.50.51470.68699.43l>O.50.8390.9357WoodlBadBadBadRMSEmatching>0.5matching>2.5O.5ll4O.7205RMSEmatching>O.5matchingmatching>l>2.50.424l0.3249Ouralgorithm0.04520.63665.27270.7448Ref.【16】

algorithm0.2690.80639.99915.17930.9940.98440.9757

翟振刚等:利用块几何约束及视差概率的立体匹配算法

(丑)Iterationnumberis2彻Iterationnumberis5(c)Iterationnumberis15(d)Iterationnumberis20(a)迭代次数为2

Fig.9(b)迭代次数为5(c)迭代次数为15our(d)迭代次数为20Differentiterationnumber’sresultinalgorithm

图9不同迭代次数时的结果图

(a)RelationshipbetweeniterationnumberandRMSE(b)RelationshipbetweeniterationnumberandPBMPS

(a)RMSE与迭代次数的关系

Fig.10(b)PBMPS与迭代次数的关系RelationshipbetweeniterationnumberandtheRMSEorPBMPSon

Flowerpot(errorthreshold--1)

图lO当误差闽值为l时,在实验图Flowerpot上迭代次数与RMSE,PBMPS的关系

图ll显示了添加二阶梯度信息和没有添加二阶梯度信息的结果图,测试图像为Monopoly.没有添加二阶梯度信息的结果图,其均方根误差为8.759,阈值大于l的误匹配率为0.6366;而在添加了二阶导数信息之后,其结果图的均方根误差为8.7075,阈值大于1的误匹配率为O.6347.可以看出,添加的二阶导数信息提高了匹配的准确性.

(a)Resultofnoaddingthesecondorderinformation(b)Resultofaddingthesecondorderinformation

(a)没有添加二阶梯度信息的结果图

Fig.IIInfluenceofthesecondgradientinformation(b)添加二阶梯度信息的结果图ontheresult(errorthreshold=1)

图11当误差阈值为l时。二阶梯度信息对匹配结果的影响

表2给出了本算法和文献[16】算法的运行时间,由于本算法是在matlab环境中运行,通过多次运行,得到一

个平均的时间.本算法时间复杂度较高,主要因为大部分时间花费在几何约束信息的计算上.

2994JournalofSoftware软件学报V01.21,No.11,November2010

1fable2Proceduretime013differenttestedimages

表2在不同测试图像卜的运行时间

g!型皇!!坚!翌!P!!z!!!!!亚!!塑!!!!

里罂!f出ii!!::!!!!!i塑丝§:!丝婴!丝!!!:i!!!丝i:!::丝!i!!三.

图像初始分割的结果对立体匹配具有一定的影响,如果图像的每一个分割块太小,每一个图像分割块图像信息不足,就不容易得到准确的匹配点;如果分割块太大,就容易把两个不同视差的物体误认为是同一视差,也容易产生误匹配.在图12和图13中,分别从定性和定量的角度分析了在过分割到欠分割各个状态下最终视差图的精度.

(a)hs=150,^尸7,/14--30

Fig.12(b)h,=10,h,.=150,M=30(c)hs=10,^,-7,M=1800(d)h,=10,h,--7,M=30Disparitymapsandsegmentresultsunderthedifferentsegmentalstates

图12不同分割状态下的视差图和分割结果图

10.1

10.0

9.9

9.8

9,7

9.6

9.5

9.4

9.3

9.20.640.620.600.58O.560.720.700.680.66lO.O9.89.69.49.29.08.88.68.4

(a)RelationbetweentheRMSEandMCo)RelationbetweenthePBMPSandM

(a)肘与RMSE的关系

0.64

O.63

O.62

0.61

O.60

0.59

0.58

0.57

O.56

O.5510.O9.59.O8.5

012.512.O11.511.OlO.5(b)M与PBMPS的关系(c)RelationbetweentheRMSEand以(c)以与RMSE的关系50100150050lOO1"50

(d)RelationbetweenthePBMPSandh,(e)RelationbetweentheRMSEandhJ

(d)缸与PBMPS的关系

Fig.13Relationshipbetween(e)虬与RMSE的关系(0RelationbetweenthePBMPSandh,(0h,与PBMPS的关系RMSE,PBMPSandthedifferentsegmentalstates(errorthreshold=1)

图13

当误差阈值为1时,不同分割状态与RMSE,PBMPS的关系

翟振刚等:利用块几何约束及视差概率的立体匹配算法2995图12显示了不同分割状态下的视差图和分割结果图,不同的颜色代表不同的分割块,第1行是分割结果图,第2行是最后的视差图,真视差图是图8(c).在图13中,横坐标是分别是分割的空间带宽、颜色带宽和分割块的最小像素数,纵坐标是RMSE和PBMPS(errorthresholdfl),测试图像是Flowerpot.从图中可以看出,不同的分割状态下,得到的精度不相同针对公式(6)和公式(7)的两个阈值磊,百k,图14显示了其对均方根误差和误匹配率的影响.其中,图14(a)和图14(b)是阈值五与RMSE,PBMPS的关系,图14(c)和图14(d)是磊。与RMSE,PBMPS的关系.

(a)RelationbetweentheRMSEandthreshold4(b)RelationbetweenthePBMPSandthreshold磊

(a)阈值4与RMSE的关系

0.125

0.124

0.】23

0.122

O.12l

0.120

0.119

0.118

O.117

OO505O5O5O505O5O5O5O5(b)阈值4与PBMPS的关系坶姆":¨心¨mO

(c)RelationbetweentheRMSEandthreshold&(d)RelationbetweenthePBMPSandthreshold屯

(e)阈值如与RMSE的关系

Fig.14(d)阈值艮与PBMPS的关系thedifferentRMSE,PBMPS(errorthreshold=1)under4,觅values

图14阈值矗屯对RMSE,PBMPS(误差阈值=1)精度的影响

在图15、图16中,本文的算法与文献[16,19]的算法以及其他算法的结果进行了比较.从结果可以看出:本文的算法比文献[16】的结果要好;与文献[19】的算法比较,在平滑性和边界的保持上比较具有优势,特别是在大块具有倾斜平面的场景中(如墙壁等)具有优势;而与其他算法,比如传统的sumofsquareddifference(SSD)、图割(graphcuts)和协作算法(cooperativealgorithm)的结果相比较,具有明显好的效果.但对于如图16中花的叶子等细小的物体,得到的结果不是很准确;而与其他算法,比如传统的sum

法结果相比较。具有明显优势.

从所有实验结果可以看出,本文提出的算法具有较好的性能,特别是在图像场景中具有很多倾斜表面和曲面时,本算法得到的效果更好,如图7中的Monopoly和Woodl.同时,在边界的保持上也具有明显的优势.但是,本算法对于狭小的物体或细小的物体,如图16中灌木的叶子等,立体匹配的准确性不是很好.这主要是由于本算法受到分割的影响,对狭小的物体进行分割之后,分割区域内元素较少,信息量不是很充分,所以引起的匹配精度不是很高,除此之外,本算法的复杂度也是比较高的,将来可以优化代码,提高运行时间.ofsquareddifference(SSD)、图割和协作算

2996JournalofSoftware软件学报V01.21,No.1l,November2010

(a)Leftimage

(a)左视图(b)Ourresult(c)Ref.[16】algorithmresult(c)文献[161的结果(d)Ref.09】algorithmresult(d)文献【19】的结果(”本文算法结果

(e)TraditionalSSDresult(f)Traditionalgraphcutsresult(g)Traditionalcooperativealgorithmresult

(e)传统的SSD结果

Fig.15(f)传统图割算法结果Comparisonofdifferentalgorithmson(g)传统协作算法结果Corridor

图15Corridor测试图不同算法结果比较

(a)Leftimage(b)Ourresult(c)lkf.[16】algorithmresult(d)Ref.[19】algorithmresult

(8)左视图(b)本文算法结果(c)文献[161的结果(d)文献【19】的结果

(e)TraditionalSSD他sult(f)Traditionalgraphcmsresult(g)Traditionalcooperativealgorithmresult

(c)传统的SSD结果

Fig.16(f)传统图割算法结果ComparisonofdifferentalgorithmsOil(g)传统协作算法结果Parkingmeter

图16Parkingmeter测试图不同算法结果比较

7结论

在本文中,为了得到更准确的初始视差值,对局部的能量函数进行改进,添加了梯度信息.针对立体匹配中

倾斜平面和曲面的匹配问题,本算法利用分割块的几何约束和视差概率分布信息,采用两级约束推理策略计算

翟振刚等:利用块几何约束及视差概率的立体匹配算法2997像素的视差值.在分割块之间的推理过程中,采用了上下文分割块的几何约束,通过迭代的方法使每个分割块都得到最优视差平面.在分割块内像素点之间的推理过程中,利用视差概率分布信息准确地估计了不可信像素的视差值.在实验部分,利用具有更富有挑战性的图像数据以及国际上标准的挑战性图像数据进行测试,并且与其他相关算法进行定性和定量比较,并对本算法进行了性能分析.从比较实验结果可以看出,本算法提高了立体匹配的精度,但缺点是时间复杂度较高.由于本文的算法受到图像分割的影响,针对细小物体(如树叶等),效果不是很好.下一步我们将考虑如何提高细小物体的匹配精度,特别是具有曲面的细小物体.另外,在采用更好的优化算法以及提高算法的准确性,并且在判断可信点时,阈值的选择上也有探讨的空间.

致谢感谢Felzenszwalb和Huttenlocher公开文献B6]的代码,从他们的网站E可以下载.同时感谢Scharstein和Szeliski提供了标准的国际测试图像数据.感谢匿名审稿争家教授和编辑部老师提出的宝贵修改意见.

Re-ferenees:

【l】HongL,ChertG.Segment-Basedstereomatchingusinggraphcuts.In:Proc.oftheIEEEComputerSocietyConf.onComputer

VisionandPatternRecognition,V01.1.IEEEComputerSociety,2004.74—81.

【2】YangQX,WangL,YangRG,SteweniusH,NisterD.Stereomatchingwithcolor-weightedcorrelation,hierarchicalbelief

andpropagation,andocclusion

10.1handling.IEEETrans.onPatternAnalysisMachineIntelligence。2009,31(3):492—504.【doi:109/TPAMI.2008.99】

B,ZitnickCL.Stereoreconstructionwithmixedpixelsusingadaptiveover—segmenmtion.In:Proe.ofthe

on【3】TagnchiY,WilbumIEEEComputerSocietyConeComputerVisionandPaRernRecognition.IEEEComputerSociety,2008.1-8.

【4】Bleyer

Int’lM,Gelaut2M.Graph—Basedsurfacereconstructionfromstereopairsusingimagesegmentation.In:Proc.ofthesPIE-111eSocietyforOpticalEngineering,Voi.5665.2005.288—299.

NN,ShumHY.Stereomatchingusingbeliefpropagation.IEEETrans.onPattemAnalysisandMachineIntelligence,【51SunJ,Zheng

2003,25(7):787—800.【doi:10.1109/TPAMI.2003.1206509]

【61XuL,JiaJY.Stereomatching:anoutlierconfidenceapproach.Proc.oftheEuropeanConf.onComputerVision,2008,4:775—787.

ZH.Dense【7】ChenW,ZhangMJ,Xiong

Journalofmatchingalgorithmbasedonregionboundaryrestrictionviagraphcutsoptimization.Software,2005。16(6):960—969(inChinesewithEnglishabstract).http://www.jos。org.on/1000-9825/16/960.htm【doi:10.136000s160960】

f8】WenGJ.Aglobalalgorithmforstraightlinestereomatchingbasedonfoamregrouping.JournalofSoftware,2006,17(12):

2471-2484(inChinesewithEnglishabstract).http://wwwjos.org.cn/1000—9825/17/2471.htm【doi:10.136000s172471】

【91Agrawal

VisionM,DavisL.Window・Based,discontinuitypreservingstereo.In:Proc.oftheIEEEComputerSocietyConf.onComputerandPanernRecognition。V01.1,2004.166—173.

stereo【lO】LiMX,JiaYD.Adaptiveaggregationbasedcooperative

withEnglishvision.JournalofSoftware,2008,19(7):1674—1682(inChineseabstract).http://www.jos.org.cn/1000—9825/19/1674.htm【doi:10.3724/SP.J.1001.2008.01674】

stereo【1l】ScharsteinD。SzeliskiR.Ataxonomyandevaluationofdensetwo-frame

ComputerVision,2002.47:7—42.correspondencealgorithms.Int’lJournalof

[12】LiG,ZuckerSW.Differentialgeometricconsistencyextendsstereotocurvedsurfaces.In:Proc.oftheEuropeanConf.on

ComputerVision.2006.44—57.

113]SunJ,“Y,KangS,Shum

onHY.Symmetricstereomatchingforocclusionhandling.In:Proc.oftheIEEEComputerSocietyConf.ComputerVisionandPatternRecognition,V01.11.2005.399-406.

on【“】WenGJ,ZhouXZ.Stereomatchingandlargeocclusiondetectionbaseddisparitypoints.JournalofSoftware,2005,16(5):

708—717(inChinesewithEnglishabstract).hrtp://www.jos.org.on/1000・9825/16/708.htmIdol:10.1360/josl60709】

【l砖LinXY,LiuY,DaiWZ.Studyofocclusionsprobleminstereovision.In:Proc.ofthe7thIEEEworldCongress帆Intelligent

ControlandAutomation.2008.5062-5067.

PF,Huttenlocherf16】Felzanszwalb

i5-79.DP.Efficientbeliefpropagationforearlyvision.Int’1JournalofComputerVision,2006,61(1):

2998JournalofSoftware软件学报V01.21,No.11,November2010

【17】OhJD。MaSW。KuoCCJ.Stereomatchingviadisparityestimationandsurfacemodeling.In:Proc.oftheIEEEComputerSociety

Conf.onComputerVisionandPatternRecognition.2007.1—8.

【18】Ogale

IEEEAS,AloimonosY.Stereocorrespondencewithslantedsurfaces:Criticalimpticationsofhorizontalslant.In:Proc.oftheComputerSocietyConf.onComputerVisionandPaRernRecognition.2004.1568-1573.

SW.Stereoforslantedsurfaces:Firstorderdisparitiesandnormalconsistency.In:Proc.oftheEnergyMinimization[19】LiG.Zucker

MethodsinComputerVisionandPatternRecognition.2005.617-632.

[20】LiG.ZuckerSW.Surfacegeometriccons仃aintsforstereoinbeliefpropagation.In:Proc.oftheIEEEComputerSocietyConf.on

ComputerVisionandPaRernRecognition。V01.2.2006.2355-2362.

[21】ComaniciuD。MeerP.MeanshiftArobustapproachtowardfeaturespaceanalysis.IEEETrans.onPatternAnalysisandMachine

Intelligence,2002,24(5):603-619.[doi:10.1109/34.1000236】

【22】KlausA,SormannM,KarnerK.Segment-Basedstereomatchingusingbeliefpropagationand

18thInt’lConLonaself-adaptingdissimilaritymeasure.In:Proc.ofthe

【23]PatternRecognition.2006.15一18.stereoWeiYC.QuanL.Region—Basedprogressivematching.In:Proc.oftheIEEEComputerSocietyConf.0nComputerVision

andPatternRecognition.V01.1.2004.1106-1113.

[241

【25】BobickAF,IntiileSS.Largeocclusionstereo.Int’lJournalofComputer,1999,33(3):181-200.ZG.AregionWangZF,Zheng

SocietyConf.011basedstereomatchingalgorithmusingcooperativeoptimization.In:Proc.oftheIEEEComputerComputerVisionandPatternRecognition.2008.1-8.

optimizationforenergyminimization:Acase【26】HuangXF.Cooperativestudyofstereomatching.2007.http://front.math.ucdavis.

edu/author/X.Huang,cs.CV/0701057

【27】FrohlinghausT.Buhmann

45l—455.JM.Regularizingphase—basedstereo.In:Proe.ofthe13thInt’IConf.ORPatternRecognition.1996.

附中文参考文献:

【7】陈旺,张茂军,熊志辉.基于区域边界约束和图割优化的稠密匹配算法.软件学报,2005,16(6):960—969.http://wwwdos.org.cn/

1000-9825/16/960.htm【doi:10.1360/josl60960】

【8】文贡坚.一种基于特征编组的直线立体匹配全局算法.软件学报,2006,17(12):2471-2484http://wwwdos.org.en/1000—9825/17/

2471.htm【doi:10.1360/josl72471]

【10】李鸣翔,贾云得.基于自适应聚合的立体视觉合作算法.软件学报,2008,19(7):1674-1682

1674.htm【doi:10.3724/SP.J.1001.2008.01674】http://wwwdos.org.Ol/1000・9825/19/

【14】文贡坚,周秀芝.基于视差点的大遮挡检测和立体匹配方法.软件学报,2005,16(5):708—717http://wwwdos.org.cn/1000・9825/16/

708.htm【doi:10.1360/josl60708】

翟振8U(1979--),男,山西河津人,博士生,

助教,主要研究领域为计算机视觉,模式识

别。三维目标识别.赵t"r(1979--),女,博士生,讲师,主要研究

领域为图像超分辨率,模式识别.

陆耀(1958--),男,博士,教授,博士生导师,

主要研究领域为计算机视觉,模式识别,人

工智能.

利用块几何约束及视差概率的立体匹配算法

作者:

作者单位:翟振刚, 陆耀, 赵红, ZHAI Zhen-Gang, LU Yao, ZHAO Hong翟振刚,ZHAI Zhen-Gang(北京理工大学,计算机科学技术学院,智能信息技术北京市重点实验

室,北京,100081;防空兵指挥学院,河南,郑州,450052), 陆耀,LU Yao(北京理工大学,计算

机科学技术学院,智能信息技术北京市重点实验室,北京,100081), 赵红,ZHAO Hong(北京理

工大学,计算机科学技术学院,智能信息技术北京市重点实验室,北京,100081;河北大学,数学

与计算机科学技术学院,河北,保定,071002)

软件学报

JOURNAL OF SOFTWARE

2010,21(11)刊名:英文刊名:年,卷(期):

参考文献(31条)

1. Hong L. Chen G Segment-Based stereo matching using graph cuts 2004

2. Yang QX. Wang L. Yang RG. Stewenius H Nister D Stereo matching with color-weighted

correlation,hierarchical belief propagation,and occlusion handling 2009(3)

3. Taguchi Y. Wilburn B. Zitnick CL Stereo reconstruction with mixed pixels using adaptive over-segmentation 2008

4. Bleyer M. Gelautz M Graph-Based surface reconstruction from stereo pairs using image segmentation2005

5. Sun J. Zheng NN. Shum HY Stereo matching using belief propagation 2003(7)

6. Xu L. Jia JY Stereo matching:an outlier confidence approach 2008

7. Chen W. Zhang MJ. Xiong ZH Dense matching algorithm based on region boundary restriction via graphcuts optimization 2005(6)

8. 文贡坚 一种基于特征编组的直线立体匹配全局算法 2006(12)

9. Agrawal M. Davis L Window-Based,discontinuity preserving stereo 2004

10. LI Ming-Xiang. 贾云得 基于自适应聚合的立体视觉合作算法 2008(7)

11. Scharstein D. Szeliski R A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms 2002

12. Li G. Zucker SW Differential geometric consistency extends stereo to curved surfaces 2006

13. Sun J. Li Y. Kang S. Shum HY Symmetric stereo matching for occlusion handling 2005

14. 文贡坚. 周秀芝 基于视差点的大遮挡检测和立体匹配方法 2005(5)

15. Lin XY. Liu Y. Dai WZ Study of occlusions problem in stereo vision 2008

16. Felzenszwalb PF. Huttenlocher DP Efficient belief propagation for early vision 2006(1)

17. Oh JD. Ma SW. Kuo CCJ Stereo matching via disparity estimation and surface modeling 2007

18. Ogale AS. Aloimonos Y Stereo correspondence with slanted surfaces:Critical implications ofhorizontal slant 2004

19. Li G. Zucker SW Stereo for slanted surfaces:First order disparities and normal consistency 2005

20. Li G. Zucker SW Surface geometric constraints for stereo in belief propagation 2006

21. Comaniciu D. Meer P Mean shift:A robust approach toward feature space analysis 2002(5)

22. Klaus A. Sormann M. Karner K Segment-Based stereo matching using belief propagation and a self-adapting dissimilarity measure 2006

23. Wei YC. Quan L Region-Based progressive stereo matching 2004

24. Bobick AF. Intille SS Large occlusion stereo 1999(3)

25. Wang ZF. Zheng ZG A region based stereo matching algorithm using cooperative optimization 2008

26. Huang XF Cooperative optimization for energy minimization:A case study of stereo matching 2007

27. Frohlinghaus T. Buhmann JM Regularizing phase-based stereo 1996

28. 陈旺. 张茂军. 熊志辉 基于区域边界约束和图割优化的稠密匹配算法 2005(6)

29. 文贡坚 一种基于特征编组的直线立体匹配全局算法 2006(12)

30. LI Ming-Xiang. 贾云得 基于自适应聚合的立体视觉合作算法 2008(7)

31. 文贡坚. 周秀芝 基于视差点的大遮挡检测和立体匹配方法 2005(5)

本文链接:http://d.g.wanfangdata.com.cn/Periodical_rjxb201011023.aspx


相关内容

  • 双目视觉中立体匹配算法的研究与比较
  • 2011年1月第1期 电子测试 ELECTRONIC TEST Jan.2011No.1 双目视觉中立体匹配算法的研究与比较★ 高一宁, 韩燮 (中北大学 电子与计算机科学技术学院 山西 太原 030051) 摘 要: 在基于双目立体视觉三维重建的研究中,立体匹配是其中最重要的部分,它的准确性影响着 ...

  • Displets论文读后感
  • 1.论文基本信息 题目:Displets:Resolving Stereo Ambiguities using Object Knowledge 来源:Conferenceon Computer Vision and Pattern Recognition (CVPR) 时间:2015.6 作者:F ...

  • 基于灰度相关的图像匹配算法的改进
  • 第28卷第5期2007年9月应用光学 JournalofAppliedOptics V01.28No.5 Sep.2007 文章编号:1002-2082(2007)05-0536-05 基于灰度相关的图像匹配算法的改进 刘 莹1'2,曹剑中1,许朝晖1,田雁1,付同堂1'2,王锋"2 (1 ...

  • 光学非接触式三维测量技术
  • 光学三维测量技术及应用 摘要:随着现代科学技术的发展,光学三维测量已经在越来越广泛的领域起到了重要作用.本文主要对接触式三维测量和非接触式三维测量进行了介绍.着重介绍了光学三维测量技术的各种实现方法及原理.最后对目前光学三维测量的应用进行了简单介绍. 1 引言 随着科学技术和工业的发展,三维测量技术 ...

  • 数字摄影测量学要点
  • 数字摄影测量复习要点(2016.5) 1.摄影测量发展历程 模拟摄影测量(1851-1970) 模拟摄影测量主要是根据摄影过程的几何反转,反求地面点的空间位置.它所采用的仪器为光学投影器.机械投影器或光学-机械投影器模拟摄影过程,用光线交会被摄物体的空间位置. 解析摄影测量(1950-1980) 1 ...

  • 双目立体视觉匹配的预处理技术
  • 第50卷第l期 2012年1月吉林大学学报(理学版)JoumalofJilinUnive璐ity(scienceEdition)V01.50No.1J跚2012 双目立体视觉匹配的预处理技术 常淑华1,宋艳秋2,杨永敏3 (1.吉林农业科技学院信息工程学院,吉林吉林132101:2.长春市希望高中, ...

  • 机械臂视觉伺服控制系统的设计
  • <工业控制计算机}2013年第26卷第8期 47 机械臂视觉伺服控制系统的设计 DesignofManipulatorServoSystemBased on BinocularVision 江杰王鹏月(内蒙古科技大学信.E-工程学院,内蒙古包头014010) 摘要 针对传统机械臂无法更好的适应 ...

  • [机器视觉及其应用]部分课后习题
  • 第一章 机器视觉系统构成与关键技术 1.用机器来延伸或代替人眼对事物做测量.定位和判断的装置.组成:光源.场景.摄像机.图像卡.计算机.用机器来延伸或代替人眼对事物做测量.定位和判断.三部分:图像的获取.图像的处理和分析.输出或显示. 2. 图像是什么?有那些方法可以得到图像? 图像是人对视觉感知的 ...

  • 基于双目立体视觉的测距系统设计
  • 毕业论文(设计) 基于双目立体视觉的车辆测距系统设计 姓 车辆工程 学 号 年 级 专 业 系 (院) 汽车学院 指导教师 摘 要 在众多车距测量系统中,双目立体视觉测量系统以其法简单快速.鲁棒性好.性能可靠等优点已成为研究和应用的热点.它可以在不借助任何额外光源的情况下,单纯地依靠自然光照来实现利 ...