ComputerEngineeringandApplications计算机工程与应用
2010，46（21）181
带时延补偿的图像雅可比矩阵在线估计方法
刘文芳1，邴志刚2，卢胜利2，路海龙2
LIUWen-fang1，BINGZhi-gang2，LUSheng-li2，LUHai-long2
1.天津机电职业技术学院电气电子技术应用系，天津3001312.天津信息感知与智能控制重点实验室，天津300222
1.ElectricalandElectronicsTechnologyApplicationDepartment，TianjinInstituteofMechanicalandElectronicTechnology，Tianjin300131，China
2.TianjinKeyLaboratoryofInformationSensingandIntelligentControl，Tianjin300222，China
LIUWen-fang，BINGZhi-gang，LUSheng-li，etal.OnlineestimationofimageJacobianmatrixwithtime-delaycompen-sation.ComputerEngineeringandApplications，2010，46（21）：181-184.
Abstract：ThetraditionalmethodsforestimationofimageJacobianmatrixdonotconsiderthetime-delay，whichleadstolargerestimationerror.Tocompensatethetime-delay，anovelmethodfortheonlineestimationofimageJacobianmatrixwithtime-delaycompensationisproposed.ThecurrentpositionandvelocityofthefeaturepointontheimageplanearepredictedbyKalmanfilteralgorithm，andthentheaccurateimageJacobianmatrixiscalculated.Simulationandexperimentalresultsshowthatthemethodimprovesthesystemperformancesignificantly，demonstratingthefeasibilityandsuperiorityofthetime-delaycompensationmethodproposedinthispaper.
Keywords：imageJacobianmatrix；time-delaycompensation；Kalmanfilter；visualservo摘
要：传统的在线估计图像雅可比矩阵的方法没有考虑时延因素，因此具有较大的估计误差。为了补偿时间延迟，提出一种新
的带时延补偿的图像雅可比矩阵估计方法。该方法利用卡尔曼滤波估计特征点在图像空间中当前时刻的位置和速度，进而计算当前时刻较为准确的图像雅可比矩阵估计值。仿真和实验结果表明，该方法显著地提高了系统的性能，从而验证了提出的带时延补偿的图像雅可比矩阵在线估计方法的可行性和优越性。关键词：图像雅可比矩阵；时延补偿；卡尔曼滤波；视觉伺服DOI：10.3778/j.issn.1002-8331.2010.21.052
文章编号：1002-8331（2010）21-0181-04
文献标识码：Ａ
中图分类号：TP391
1引言
基于图像的视觉伺服方法是直接计算图像误差，产生相
应的控制信号，建立反馈控制率[1]。由于该控制策略是以当前图像特征与理想图像特征之差为基础的，因此对摄像机和机器人的标定误差以及目标模型误差具有较强的鲁棒性。而要实现这种控制方式，首先必须建立从图像特征空间到机器人运动空间的变换关系，也就是要确定图像雅可比矩阵。图像雅可比矩阵是基于图像的视觉伺服的基础，也是无标定视觉伺服领域的重要研究内容之一。
如式（1）和式（2）所示，图像雅可比矩阵描述了机器人末端在笛卡尔空间速度到特征点在图像空间中速度的映射。
f(t)=J(p)p(t)（1）
é¶f1(p)
ê1
é¶fùê
J(p)==ê
ëûê¶f(p)
m
ë1¶f1(p)ù
nú
úú¶fm(p)ú
nû
（2）
其中f为特征点在图像空间中的速度，p为机器人末端在笛卡JÎRm´n即为图像雅可比矩阵。尔空间中的速度，
由式（1）可知，图像雅可比矩阵是时变的，因此，需要在线计算或估计。
采用在线估计方法的优点是不需要事先知道系统的精确模型，避免了系统标定的繁琐过程。国内外许多学者对图像雅可比矩阵的估计方法进行了大量的研究。Piepmeier等[2]采用递推最小二乘法在线估计图像雅可比矩阵；Allen等[3]通过
基金项目：国家自然科学基金（theNationalNaturalScienceFoundationofChinaunderGrantNo.60772167）；国家高技术研究发展计划（863）
（theNationalHigh-TechResearchandDevelopmentPlanofChinaunderGrantNo.2007AA04Z254)；天津工程师范学院科研发展项目（No.KJ09-004）。
作者简介：刘文芳（1954-），副教授，主要研究领域为机电一体化、数控技术等；邴志刚（1972-），男，博士，副教授，计算机学会会员，主要研究领域
为机器人、传感器网络与RFID；卢胜利（1956-），男，博士，教授；路海龙（1979-），男，助教。
收稿日期：2009-12-31
修回日期：2010-05-10
1822010，46（21）ComputerEngineeringandApplications计算机工程与应用
在当前位置附加两步试探运动，用最小二乘法估计当前的图像雅可比矩阵；项龙江等[4]利用图像特征误差和机器人的一步变化，基于方差最小化原理，估计时变的图像雅可比矩阵；郭振民等[5]则用图像特征和机器人关节的前n步微动信息代替目前的微分运动，得出局部图像雅可比矩阵的动态估计；QianJiang等[6]利用Kalman滤波算法，将对雅可比矩阵的辨识问题转化为相应系统的状态观测问题，并取得较好效果。
然而，上述辨识方法都是以假设系统没有时延为基础的。但在实际视觉伺服系统中，由图像采集、传输和处理带来的时延不可避免，用上述方法估计图像雅克比矩阵必然是不准确的，将这个不准确的图像雅可比矩阵应用于视觉伺服系统中，必将对整个控制系统的性能带来较大影响。
减小视觉系统时延影响的一个直接方法就是通过提高摄像机的采样频率和图像处理的速度来减小系统时延，目前国内外也有很多学者从事这方面的研究
[7-8]
。但该方法对系统的
硬件要求较高，会大幅提高系统的硬件及相关软件的成本，无法适用于采用普通摄像机进行视觉伺服的应用场合。
为此，一些学者通过软件设计方法来补偿系统时延，并取得了一定的效果。高振东等[9]采用基于多项式的局部拟合方法估计图像雅可比矩阵，获得了当前时刻较为准确的图像雅可比矩阵的估计值，但由于在图像采集和处理过程中系统噪声的存在，使该方法在实际应用中的估计准确性受到影响；Nakadokoro等[10]和Nishio等[11]通过预测特征点的图像变化来补偿这部分时延，并取得了一定的效果，但依然存在较大的误差。本文通过预测图像特征的变化来进行时延补偿。为了提高图像特征的预测精度，不对图像雅可比矩阵和图像特征运动本身进行任何假设，利用Kalman滤波算法估计特征点在图像空间中当前时刻的位置和速度，进而估计出当前时刻准确的图像雅可比矩阵。该方法对系统状态噪声有较强的鲁棒性。
2带时延补偿的图像雅可比矩阵在线估计方法
在实际的视觉伺服系统中，获取图像特征过程的时延不
可避免，利用不带时延补偿的估计方法势必带来较大的估计误差。通过建立特征点的运动方程，利用Kalman滤波算法预
测特征点当前时刻在图像空间中的运动速度Df，最后利用该预测速度和实时获得的机器人末端速度来计算当前时刻准确的图像雅可比矩阵。具体方法如下。
假设系统采样周期为T，系统由于图像采集、传输和处理等环节带来的时延为hT，当前时刻为第k拍，则当前系统只能获得1~k-h拍的图像特征位置f1~fk-h。基于Kalman滤波算法，利用f1~fk-h估计得到当前时刻特征点在图像空间中的位置和速度fk
、Dfk
，再利用Dfk
和实时获得的机器人末端在笛卡尔空
间中的速度Dp，计算当前时刻较为准确的图像雅可比矩阵。
利用递推最小二乘算法估计当前时刻的图像雅可比矩阵的Jk
：
JJ+(æfT
çJ¶fök-fk-1)pkPk-1è
k-1pk-kT÷øpTkPk-1k=k-1λ+pTP-pT（3）
kk-1pkλ+kPk-1pkP=æççPPk-1pkpTkPk-1
ökè
k-1-λ+pT÷（4）kP÷k-1pkø其中，Jk是k时刻图像雅可比矩阵的最小二乘估计，fk是k时刻的目标值，
pk是机器人末端运动变化量，T是采样周期，λ是遗
忘因子，（
0£λ£1）¶f
T为误差补偿项。
2.1特征点运动方程的建立
由于特征点在图像空间中的运动未知，无法确定其准确
的运动模型。将目标的加速度作为是一种随机噪声，与模型误差合起来作为动态噪声。由于特征点运动过程中的加速度很小，因此，可以把该动态噪声作为高斯白噪声处理。
特征点运动的数学方程为：
ìíx=x0+vx×Tî
y=y（5）
0+vy×T
其中x0、
y0为初始位置，vx、vy为x和y方向速度，T为采样周期。将其转化为状态方程：X(k+1)=AX(k)+Γ(U(k)+W(k))
（6）
其中，状态变量X(k)为：
X(k)=éêx(k)y(k)ùëx(k)y(k)ú
û（7）状态转移矩阵A为：A=é10Të1ùû
（8）
U(k)为未知的加速度，W(k)为系统状态噪声，Γ为动态噪
声矩阵。
根据假设，该动态噪声可以当作均值为0、方差已知的高斯白噪声处理，则式（8）可简化为：
X(k+1)=AX(k)+Ψ(k)
（9）
其中，Ψ(k)即为均值为0、方差为Q的高斯白噪声。
系统观测方程为：Z(k)=HX(k)+V(k)
（10）其中，观测向量Z(k)为：
Z(k)=[x(k)y(k)]
（11）观测矩阵H为：
H=[10]
（12）
V(k)为均值为0、观测噪声方差为R的动态噪声。
2.2基于卡尔曼滤波的图像特征补偿
由于系统时延的存在，当前时刻特征点的状态无法直接
获得，因此要利用已知的h个采样周期之前的图像特征进行预测。假设当前时刻为k+h，则此时系统只能获取到1~k拍的特征点图像特征。基于式（9）、（10）建立的系统状态方程和观测方程，通过Kalman滤波算法进行h步的预测。由于k+2~k+h
拍时系统观测向量未知，用观测向量的估计值Z替代递推过程中的观测向量Z。具体如下：
Kg(k)=P(k|k-1)HT[HP(k|k-1)HT+R
]
-1
（13）X(k|k)=X(k|k-1)+Kg(k)[Zˉ(k)-HX(k|k-1)]（14）X(k+1|k)=AX(k|k)
（15）P(k|k)=[I-Kg(k)H]P(k|k-1)（16）P(k+1|k)=AP(k|k)AT+Q
（17）
其中
Z
ˉ(k)=ìZ(i) i=k+1
íîZ(i) k+1
（19）
x(i)、y(i)为i时刻特征点在图像空间中u、v方向位置的估计值。
利用式（13）~（19）进行h次预测，即可获得当前时刻特征
刘文芳，邴志刚，卢胜利，等：带时延补偿的图像雅可比矩阵在线估计方法
点在图像空间中运动状态的估计值。
2010，46（21）183
速度的预测误差均较小。仿真结果表明，在两拍时延的情况下，利用设计的基于Kalman滤波的预测方法能够较好地估计出特征点当前时刻的位置和速度，为随后的在线估计图像雅可比矩阵提供了基础。
2.3图像雅可比矩阵的在线估计
通过设计的Kalman滤波器估计出了当前时刻特征点在
图像空间下的速度。文献[1]给出了利用递推最小二乘算法来估计当前时刻的图像雅可比矩阵的方法。
利用式（13）~（19）预测图像特征速度，将其带入式（2）~（3），即可求得当前时刻进行了时延补偿的图像雅可比矩阵的估计值。
3.2运动目标的视觉跟踪
通过仿真检验提出的Kalman滤波算法补偿时间延时的
图像雅可比矩阵在线估计方法。仿真系统中的实验对象包括一个工业机器人手臂和一台固定在机器人手臂末端的摄像机。任务是通过未标定的摄像机控制机器人运动，使运动目标在摄像机图像空间中的位置始终在特定位置（如图像平面的中心）。系统中，摄像机与机器人的相互关系未知。
运动目标在某个特定平面内运动，其x方向和y方向做频率不等的正弦运动。系统的采样周期T=0.1s，视觉系统的时延为两个采样周期，即τ=0.2s。利用本文提出的带时延补偿的方法实时估计图像雅可比矩阵，利用该结果完成基于图像的视觉伺服。不带时延补偿的方法为最小二乘法估计，仿真结果对比如图5、6所示。图5包含了目标轨迹以及两条机器人运动轨迹，其中一条为采用不带时延补偿的最小二乘法图像雅可比矩阵的估计方法，另一条为采用本文提出的带时延补偿的图像雅可比矩阵估计方法。图6为跟踪过程的误差曲线。
从图5、6中可以看出，由于通过预测图像特征变化来补
3仿真
设计了两个仿真实验，分别为特征点在图像空间中的运
动状态估计仿真和运动目标视觉跟踪仿真。
仿真1用来验证在有系统时延的情况下，通过Kalman滤波对当前时刻目标运动状态进行估计的效果，此处估计的准确性是提出的带时延补偿的视觉伺服方法的基础。
仿真2模拟一个实际的对运动目标进行跟踪的视觉伺服系统，用来对比提出的带时延补偿的方法和传统不进行时延的方法为递推最小二乘法估计图像雅可比矩阵，在此基础上运用Kalman滤波进行时延补偿。
补偿方法在跟踪运动目标时的跟踪效果。其中不带时延补偿
速度误差（/mm·s-1）
Y轴位置/pixel
3.1
基于Kalman滤波的图像特征状态估计仿真
假设特征点在图像空间中做变加速运动，系统采样周期T=0.1s，时延为两个采样周期，即τ=0.2s，动态噪声Ψ(k)和观
偿系统时延，且机器人的初始位置与目标位置存在初始误差，所以利用带时延补偿的图像雅可比矩阵估计方法进行视觉伺服时，在前8拍跟踪误差明显大于不带时延补偿的方法，但在其后跟踪误差基本控制在2个像素左右，优于不带时延补偿方法跟踪时的5个像素左右。通过一系列仿真实验表明，系统时延越大，带时延补偿的方法相对不进行时延补偿方法的优势就越明显。因此，提出的基于Kalman滤波的带有时延补偿的图像雅可比矩阵估计方法整体优于不带时延补偿的方法。
210
测噪声V(k)均是方差为0.25的高斯白噪声。仿真任务为：假设当前时刻为k，根据已知的前k-2拍特征点的运动状态，利用式
（13）~（19）所示的Kalman滤波算法估计当前时刻特征点在图向的预测结果，y方向类似）。其中图1~2为特征点在x方向的位置预测结果和预测误差，图3~4为特征点在x方向的速度预测结果及预测误差。
20151050
像空间中的位置和速度。仿真结果如图1~4所示（只列出x方
从上述图中可以看出，在整个运动过程中，特征点位置和
预测位置
实际位置
1.51.00.50
实际速度
速度（/mm·s-1）
位置误差/mm
位置/mm
-1-2-3-4-5
-0.5-1.0
-5
[***********]100
t/s
[***********]100
t/s
[***********]100
t/s
图1x方向位置预测结果图图2x方向位置预测误差图3x方向速度预测结果图
3.53.02.52.01.51.00.50
[1**********]050
[1**********]05
-0.5-1.00
[***********]100
t/s
误差值/pixel
[***********]100110
X轴位置/pixel
1020
3040步数
506070
图4x方向速度预测误差图5τ=0.2
s时机器人的运动轨迹
图6τ=0.2s时机器人的跟踪误差
1842010，46（21）ComputerEngineeringandApplications计算机工程与应用
4实验
实验平台为一套竞争型网络机器人平台[12]，如图7所示。
其核心部分为两台沈阳新松公司生产的RH-6弧焊机器人，分别标记为ID2和ID3，其底层控制周期为16ms。在每个机器人末端安装一部YOTAN摄像机，其采样频率为25f/s。视觉服务器上安装有大恒公司的DH-CG400图像采集卡。摄像机与视觉服务器之间通过同轴电缆进行视频传输。摄像机与机器人间未标定，机器人模型已知，系统时延约等于两个采样周期。
图7
机器人实验平台
实验中，机器人ID2作为运动目标，其末端在某个特定平
面内做随机运动。机器人ID3根据视觉系统的引导对运动目标ID2进行跟踪，使运动目标在图像中的位置始终位于图像平面的中心。
实验结果如图8所示。其中，目标的运动轨迹为一条折线——
先沿z正方向做直线运动，位置从（-76，646）点到（-76，726
）
点；再沿
x正方向做直线运动，位置由（-76，726）点到（58，726）点。从图8中的跟踪曲线可以看出，利用传统不带时延补偿的图像雅可比矩阵估计方法进行视觉伺服，机器人的跟踪轨迹在（-76，652）至（-76，670）点段及（-76，685）至（-76，703）点段存在较大超调，并且在整个跟踪过程中的跟踪误差均较大。采用提出的带时延补偿的图像雅可比矩阵估计方法，机器人的轨迹较为平滑，且跟踪误差较小。
730720710m
m700/标690坐向680方z670660650
-80
-60
-40-2002040
60
x方向坐标/mm
图8实际机器人跟踪轨迹
实验结果表明，提出的带时延补偿的图像雅可比矩阵估
计方法减小了时延的影响，ｌ心ｋ～
640
-100
提高了视觉系统的性能。
5结论
系统时延在真实的视觉伺服系统中不可避免。为了降
低该时延对整个系统性能的影响，提出的利用Kalman滤波预测图像特征变化的图像雅可比矩阵估计方法，通过对系统时延进行补偿，可以更准确地估计出当前时刻系统的图像雅可比矩阵。通过一系列的视觉伺服的仿真和实验结果表明，该方法相对于传统的不带时延补偿的估计方法具有显著的优越性。
参考文献：
[1]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器人，2004，26
（3）：277-282.
[2]PiepmeierAJ，McmurrayVG，LipkinH.Uncalibrateddynamic
visualservoing[J].IEEETransactionsonRoboticsandAutoma-
tions，2004，20（1）：143-147.[3]YoshimiBH，AllenPK.Alignmentusinganuncalibratedcam-erasystem[J].IEEETransactionsonRoboticsandAutomations，
1995，11（4）：516-521.
[4]项龙江，司秉玉，薛定宇，等.模型无关的无标定视觉伺服控制[J].
机器人，2003，25（5）：424-427.
[5]郭振民，陈善本，吴林.一种基于图像的无标定视觉伺服方法的研
究[J].哈尔滨工业大学学报，2002，34（3）：294-296.
[6]QianJiang，SuJian-bo.On-lineestimationofimageJacobianma-trixbyKalman-Bucyfilterforuncalibratedvisualservo[C]//Pro-ceedingsofIEEEInternationalConferenceonRobotics&Auto-mation.Washington，DC，USA：IEEE，2002：562-567.
[7]ImaiY，NamikiA，HashimotoK，etal.Dynamicactivecatching
usingahigh-speedmultifingeredhandandahigh-speedvisionsystem[C]//IEEEInternationalConferenceonRoboticsandAuto-mation，2004：1849-1854.
[8]GangloffJ，MathelinM.Highspeedvisualservoingofa6DOF
manipulatorusingMIMOpredictivecontrol[C]//IEEEInternation-alConferenceonRoboticsandAutomation，2000：3751-3756.
[9]高振东，苏剑波.带有时延补偿的图像雅可比矩阵估计方法[J].控
制理论与应用，2009，26（1）：23-27.
[10]NakadokoroM，KomadaS，HoriT.Stereovisualservoofrobot
manipulatorsbyestimatedimagefeatureswithout3Drecon-struction[C]//IEEEConferenceonSystems，Man，andCybernet-ics，1999：571-576.
[11]NishioD，NakamuraM，KomadaS，etal.Trackingofmovingob-jectbymanipulatorusingestimatedimagefeatureanditser-rorcorrectiononimageplanes[C]//AdvancedMotionControl，Kawasaki，Japan，2004：653-657.
[12]HuangXing-bo，LiuJing-tai，SunLei，etal.Acriterionforeval-uatingcompetitiveteleoperationsystem[C]//Proceedingsofthe2006IEEE/RSJInternationalConferenceonIntelligentRobotsandSystem.Beijing，China：IEEE，2006：5214-5219.
Ｊ
带时延补偿的图像雅可比矩阵在线估计方法
作者：作者单位：
刘文芳， 邴志刚， 卢胜利， 路海龙， LIU Wen-fang， BING Zhi-gang， LU Sheng-li， LU Hai-long
刘文芳,LIU Wen-fang(天津机电职业技术学院,电气电子技术应用系,天津,300131)， 邴志刚,卢胜利,路海龙,BING Zhi-gang,LU Sheng-li,LU Hai-long(天津信息感知与智能控制重点实验室,天津,300222)
计算机工程与应用
COMPUTER ENGINEERING AND APPLICATIONS2010,46(21)1次
刊名：英文刊名：年，卷(期)：被引用次数：
参考文献(12条)
1.王麟琨;徐德;谭民 机器人视觉伺服研究进展[期刊论文]-机器人 2004(03)
2.Piepmeier A J;Mcmurray V G;Lipkin H Uncalibrated dynamic visual servoing[外文期刊] 2004(01)3.Yoshimi B H;Allen P K Alignment using an uncalibrated camera system[外文期刊] 1995(04)4.项龙江;司秉玉;薛定宇 模型无关的无标定视觉伺服控制[期刊论文]-机器人 2003(05)
5.郭振民;陈善本;吴林 一种基于图像的无标定视觉伺服方法的研究[期刊论文]-哈尔滨工业大学学报 2002(03)
6.Qian Jiang;Su Jian-bo On-line estimation of image Jacobian matrix by Kalman-Bucy filter for uncalibratcdvisual servo 2002
7.Imai Y;Namiki A;Hashimoto K Dynamic active catching using a high-speed multifingered hand and a high-speedvision system[外文会议] 2004
8.Gangloff J;Mathelin M High speed visual servoing of a 6 DOF manipulator using MIMO predictive control[外文会议] 2000
9.高振东;苏剑波 带有时延补偿的图像雅可比矩阵估计方法[期刊论文]-控制理论与应用 2009(01)
10.Nakedokoro M;Komada S;Hori T Stereo visual serve of robot manipulators by estimated image features without3D reconstruction 1999
11.Nishio D;Nakamura M;Komada S Tracking of moving object by manipulator using estimated image feature and itserror correction on image planes[外文会议] 2004
12.Huang Xing-bo;Liu Jing-tai;Sun Lei A criterion for evaluating competitive teleoperation system[外文会议]2006
本文读者也读过(10条)
1. 武波.LI Hui-guang.WU Bo.LI Hui-guang 具有一种新的图像雅可比矩阵估计方法的无定标视觉伺服[期刊论文]-系统仿真学报2008,20(14)
2. 沈晓晶.潘俊民 基于模糊图像矩的动态定位系统[期刊论文]-上海交通大学学报2003,37(6)3. 袁富宇 被动目标定位与跟踪的状态估计器研究[学位论文]1998
4. 赵艳花.蒋建虎.李春娟.段晓明.Zhao Yan-hua.Jiang Jian-hu.Li Chun-juan.Duan Xiao-ming 基于目标运动状态估计的视觉伺服控制[期刊论文]-电子质量2008(6)
5. 阿木古楞.杨性愉.平子良 用变形雅可比(p＝4,q＝3)-傅立叶矩进行图像描述[期刊论文]-光电子·激光2003,14(9)6. 高振东.苏剑波.GAO Zhen-dong.SU Jian-bo 带有时延补偿的图像雅可比矩阵估计方法[期刊论文]-控制理论与应用2009,26(1)
7. 赵清杰.陈云蛟.张立群.ZHAO Qing-jie.CHEN Yun-jiao.ZHANG Li-qun 基于粒子滤波的雅可比矩阵在线估计技术[期刊论文]-北京理工大学学报2008,28(5)
8. 淦华东 自适应子空间估计及其在目标方位跟踪中的应用[学位论文]2005
9. 张应博.ZHANG Ying-bo 基于无极卡尔曼滤波算法的雅可比矩阵估计[期刊论文]-计算机应用2011,31(6)10. 宋平.康庆生.孟正大 无标定视觉伺服在机器人跟踪多特征点目标的应用[会议论文]-2007
引证文献(1条)
1.李杨民.汤晖.徐青松.贠远 面向生物医学应用的微操作机器人技术发展态势[期刊论文]-机械工程学报 2011(23)
引用本文格式：刘文芳.邴志刚.卢胜利.路海龙.LIU Wen-fang.BING Zhi-gang.LU Sheng-li.LU Hai-long 带时延补偿的图像雅可比矩阵在线估计方法[期刊论文]-计算机工程与应用 2010(21)
ComputerEngineeringandApplications计算机工程与应用
2010，46（21）181
带时延补偿的图像雅可比矩阵在线估计方法
刘文芳1，邴志刚2，卢胜利2，路海龙2
LIUWen-fang1，BINGZhi-gang2，LUSheng-li2，LUHai-long2
1.天津机电职业技术学院电气电子技术应用系，天津3001312.天津信息感知与智能控制重点实验室，天津300222
1.ElectricalandElectronicsTechnologyApplicationDepartment，TianjinInstituteofMechanicalandElectronicTechnology，Tianjin300131，China
2.TianjinKeyLaboratoryofInformationSensingandIntelligentControl，Tianjin300222，China
LIUWen-fang，BINGZhi-gang，LUSheng-li，etal.OnlineestimationofimageJacobianmatrixwithtime-delaycompen-sation.ComputerEngineeringandApplications，2010，46（21）：181-184.
Abstract：ThetraditionalmethodsforestimationofimageJacobianmatrixdonotconsiderthetime-delay，whichleadstolargerestimationerror.Tocompensatethetime-delay，anovelmethodfortheonlineestimationofimageJacobianmatrixwithtime-delaycompensationisproposed.ThecurrentpositionandvelocityofthefeaturepointontheimageplanearepredictedbyKalmanfilteralgorithm，andthentheaccurateimageJacobianmatrixiscalculated.Simulationandexperimentalresultsshowthatthemethodimprovesthesystemperformancesignificantly，demonstratingthefeasibilityandsuperiorityofthetime-delaycompensationmethodproposedinthispaper.
Keywords：imageJacobianmatrix；time-delaycompensation；Kalmanfilter；visualservo摘
要：传统的在线估计图像雅可比矩阵的方法没有考虑时延因素，因此具有较大的估计误差。为了补偿时间延迟，提出一种新
的带时延补偿的图像雅可比矩阵估计方法。该方法利用卡尔曼滤波估计特征点在图像空间中当前时刻的位置和速度，进而计算当前时刻较为准确的图像雅可比矩阵估计值。仿真和实验结果表明，该方法显著地提高了系统的性能，从而验证了提出的带时延补偿的图像雅可比矩阵在线估计方法的可行性和优越性。关键词：图像雅可比矩阵；时延补偿；卡尔曼滤波；视觉伺服DOI：10.3778/j.issn.1002-8331.2010.21.052
文章编号：1002-8331（2010）21-0181-04
文献标识码：Ａ
中图分类号：TP391
1引言
基于图像的视觉伺服方法是直接计算图像误差，产生相
应的控制信号，建立反馈控制率[1]。由于该控制策略是以当前图像特征与理想图像特征之差为基础的，因此对摄像机和机器人的标定误差以及目标模型误差具有较强的鲁棒性。而要实现这种控制方式，首先必须建立从图像特征空间到机器人运动空间的变换关系，也就是要确定图像雅可比矩阵。图像雅可比矩阵是基于图像的视觉伺服的基础，也是无标定视觉伺服领域的重要研究内容之一。
如式（1）和式（2）所示，图像雅可比矩阵描述了机器人末端在笛卡尔空间速度到特征点在图像空间中速度的映射。
f(t)=J(p)p(t)（1）
é¶f1(p)
ê1
é¶fùê
J(p)==ê
ëûê¶f(p)
m
ë1¶f1(p)ù
nú
úú¶fm(p)ú
nû
（2）
其中f为特征点在图像空间中的速度，p为机器人末端在笛卡JÎRm´n即为图像雅可比矩阵。尔空间中的速度，
由式（1）可知，图像雅可比矩阵是时变的，因此，需要在线计算或估计。
采用在线估计方法的优点是不需要事先知道系统的精确模型，避免了系统标定的繁琐过程。国内外许多学者对图像雅可比矩阵的估计方法进行了大量的研究。Piepmeier等[2]采用递推最小二乘法在线估计图像雅可比矩阵；Allen等[3]通过
基金项目：国家自然科学基金（theNationalNaturalScienceFoundationofChinaunderGrantNo.60772167）；国家高技术研究发展计划（863）
（theNationalHigh-TechResearchandDevelopmentPlanofChinaunderGrantNo.2007AA04Z254)；天津工程师范学院科研发展项目（No.KJ09-004）。
作者简介：刘文芳（1954-），副教授，主要研究领域为机电一体化、数控技术等；邴志刚（1972-），男，博士，副教授，计算机学会会员，主要研究领域
为机器人、传感器网络与RFID；卢胜利（1956-），男，博士，教授；路海龙（1979-），男，助教。
收稿日期：2009-12-31
修回日期：2010-05-10
1822010，46（21）ComputerEngineeringandApplications计算机工程与应用
在当前位置附加两步试探运动，用最小二乘法估计当前的图像雅可比矩阵；项龙江等[4]利用图像特征误差和机器人的一步变化，基于方差最小化原理，估计时变的图像雅可比矩阵；郭振民等[5]则用图像特征和机器人关节的前n步微动信息代替目前的微分运动，得出局部图像雅可比矩阵的动态估计；QianJiang等[6]利用Kalman滤波算法，将对雅可比矩阵的辨识问题转化为相应系统的状态观测问题，并取得较好效果。
然而，上述辨识方法都是以假设系统没有时延为基础的。但在实际视觉伺服系统中，由图像采集、传输和处理带来的时延不可避免，用上述方法估计图像雅克比矩阵必然是不准确的，将这个不准确的图像雅可比矩阵应用于视觉伺服系统中，必将对整个控制系统的性能带来较大影响。
减小视觉系统时延影响的一个直接方法就是通过提高摄像机的采样频率和图像处理的速度来减小系统时延，目前国内外也有很多学者从事这方面的研究
[7-8]
。但该方法对系统的
硬件要求较高，会大幅提高系统的硬件及相关软件的成本，无法适用于采用普通摄像机进行视觉伺服的应用场合。
为此，一些学者通过软件设计方法来补偿系统时延，并取得了一定的效果。高振东等[9]采用基于多项式的局部拟合方法估计图像雅可比矩阵，获得了当前时刻较为准确的图像雅可比矩阵的估计值，但由于在图像采集和处理过程中系统噪声的存在，使该方法在实际应用中的估计准确性受到影响；Nakadokoro等[10]和Nishio等[11]通过预测特征点的图像变化来补偿这部分时延，并取得了一定的效果，但依然存在较大的误差。本文通过预测图像特征的变化来进行时延补偿。为了提高图像特征的预测精度，不对图像雅可比矩阵和图像特征运动本身进行任何假设，利用Kalman滤波算法估计特征点在图像空间中当前时刻的位置和速度，进而估计出当前时刻准确的图像雅可比矩阵。该方法对系统状态噪声有较强的鲁棒性。
2带时延补偿的图像雅可比矩阵在线估计方法
在实际的视觉伺服系统中，获取图像特征过程的时延不
可避免，利用不带时延补偿的估计方法势必带来较大的估计误差。通过建立特征点的运动方程，利用Kalman滤波算法预
测特征点当前时刻在图像空间中的运动速度Df，最后利用该预测速度和实时获得的机器人末端速度来计算当前时刻准确的图像雅可比矩阵。具体方法如下。
假设系统采样周期为T，系统由于图像采集、传输和处理等环节带来的时延为hT，当前时刻为第k拍，则当前系统只能获得1~k-h拍的图像特征位置f1~fk-h。基于Kalman滤波算法，利用f1~fk-h估计得到当前时刻特征点在图像空间中的位置和速度fk
、Dfk
，再利用Dfk
和实时获得的机器人末端在笛卡尔空
间中的速度Dp，计算当前时刻较为准确的图像雅可比矩阵。
利用递推最小二乘算法估计当前时刻的图像雅可比矩阵的Jk
：
JJ+(æfT
çJ¶fök-fk-1)pkPk-1è
k-1pk-kT÷øpTkPk-1k=k-1λ+pTP-pT（3）
kk-1pkλ+kPk-1pkP=æççPPk-1pkpTkPk-1
ökè
k-1-λ+pT÷（4）kP÷k-1pkø其中，Jk是k时刻图像雅可比矩阵的最小二乘估计，fk是k时刻的目标值，
pk是机器人末端运动变化量，T是采样周期，λ是遗
忘因子，（
0£λ£1）¶f
T为误差补偿项。
2.1特征点运动方程的建立
由于特征点在图像空间中的运动未知，无法确定其准确
的运动模型。将目标的加速度作为是一种随机噪声，与模型误差合起来作为动态噪声。由于特征点运动过程中的加速度很小，因此，可以把该动态噪声作为高斯白噪声处理。
特征点运动的数学方程为：
ìíx=x0+vx×Tî
y=y（5）
0+vy×T
其中x0、
y0为初始位置，vx、vy为x和y方向速度，T为采样周期。将其转化为状态方程：X(k+1)=AX(k)+Γ(U(k)+W(k))
（6）
其中，状态变量X(k)为：
X(k)=éêx(k)y(k)ùëx(k)y(k)ú
û（7）状态转移矩阵A为：A=é10Të1ùû
（8）
U(k)为未知的加速度，W(k)为系统状态噪声，Γ为动态噪
声矩阵。
根据假设，该动态噪声可以当作均值为0、方差已知的高斯白噪声处理，则式（8）可简化为：
X(k+1)=AX(k)+Ψ(k)
（9）
其中，Ψ(k)即为均值为0、方差为Q的高斯白噪声。
系统观测方程为：Z(k)=HX(k)+V(k)
（10）其中，观测向量Z(k)为：
Z(k)=[x(k)y(k)]
（11）观测矩阵H为：
H=[10]
（12）
V(k)为均值为0、观测噪声方差为R的动态噪声。
2.2基于卡尔曼滤波的图像特征补偿
由于系统时延的存在，当前时刻特征点的状态无法直接
获得，因此要利用已知的h个采样周期之前的图像特征进行预测。假设当前时刻为k+h，则此时系统只能获取到1~k拍的特征点图像特征。基于式（9）、（10）建立的系统状态方程和观测方程，通过Kalman滤波算法进行h步的预测。由于k+2~k+h
拍时系统观测向量未知，用观测向量的估计值Z替代递推过程中的观测向量Z。具体如下：
Kg(k)=P(k|k-1)HT[HP(k|k-1)HT+R
]
-1
（13）X(k|k)=X(k|k-1)+Kg(k)[Zˉ(k)-HX(k|k-1)]（14）X(k+1|k)=AX(k|k)
（15）P(k|k)=[I-Kg(k)H]P(k|k-1)（16）P(k+1|k)=AP(k|k)AT+Q
（17）
其中
Z
ˉ(k)=ìZ(i) i=k+1
íîZ(i) k+1
（19）
x(i)、y(i)为i时刻特征点在图像空间中u、v方向位置的估计值。
利用式（13）~（19）进行h次预测，即可获得当前时刻特征
刘文芳，邴志刚，卢胜利，等：带时延补偿的图像雅可比矩阵在线估计方法
点在图像空间中运动状态的估计值。
2010，46（21）183
速度的预测误差均较小。仿真结果表明，在两拍时延的情况下，利用设计的基于Kalman滤波的预测方法能够较好地估计出特征点当前时刻的位置和速度，为随后的在线估计图像雅可比矩阵提供了基础。
2.3图像雅可比矩阵的在线估计
通过设计的Kalman滤波器估计出了当前时刻特征点在
图像空间下的速度。文献[1]给出了利用递推最小二乘算法来估计当前时刻的图像雅可比矩阵的方法。
利用式（13）~（19）预测图像特征速度，将其带入式（2）~（3），即可求得当前时刻进行了时延补偿的图像雅可比矩阵的估计值。
3.2运动目标的视觉跟踪
通过仿真检验提出的Kalman滤波算法补偿时间延时的
图像雅可比矩阵在线估计方法。仿真系统中的实验对象包括一个工业机器人手臂和一台固定在机器人手臂末端的摄像机。任务是通过未标定的摄像机控制机器人运动，使运动目标在摄像机图像空间中的位置始终在特定位置（如图像平面的中心）。系统中，摄像机与机器人的相互关系未知。
运动目标在某个特定平面内运动，其x方向和y方向做频率不等的正弦运动。系统的采样周期T=0.1s，视觉系统的时延为两个采样周期，即τ=0.2s。利用本文提出的带时延补偿的方法实时估计图像雅可比矩阵，利用该结果完成基于图像的视觉伺服。不带时延补偿的方法为最小二乘法估计，仿真结果对比如图5、6所示。图5包含了目标轨迹以及两条机器人运动轨迹，其中一条为采用不带时延补偿的最小二乘法图像雅可比矩阵的估计方法，另一条为采用本文提出的带时延补偿的图像雅可比矩阵估计方法。图6为跟踪过程的误差曲线。
从图5、6中可以看出，由于通过预测图像特征变化来补
3仿真
设计了两个仿真实验，分别为特征点在图像空间中的运
动状态估计仿真和运动目标视觉跟踪仿真。
仿真1用来验证在有系统时延的情况下，通过Kalman滤波对当前时刻目标运动状态进行估计的效果，此处估计的准确性是提出的带时延补偿的视觉伺服方法的基础。
仿真2模拟一个实际的对运动目标进行跟踪的视觉伺服系统，用来对比提出的带时延补偿的方法和传统不进行时延的方法为递推最小二乘法估计图像雅可比矩阵，在此基础上运用Kalman滤波进行时延补偿。
补偿方法在跟踪运动目标时的跟踪效果。其中不带时延补偿
速度误差（/mm·s-1）
Y轴位置/pixel
3.1
基于Kalman滤波的图像特征状态估计仿真
假设特征点在图像空间中做变加速运动，系统采样周期T=0.1s，时延为两个采样周期，即τ=0.2s，动态噪声Ψ(k)和观
偿系统时延，且机器人的初始位置与目标位置存在初始误差，所以利用带时延补偿的图像雅可比矩阵估计方法进行视觉伺服时，在前8拍跟踪误差明显大于不带时延补偿的方法，但在其后跟踪误差基本控制在2个像素左右，优于不带时延补偿方法跟踪时的5个像素左右。通过一系列仿真实验表明，系统时延越大，带时延补偿的方法相对不进行时延补偿方法的优势就越明显。因此，提出的基于Kalman滤波的带有时延补偿的图像雅可比矩阵估计方法整体优于不带时延补偿的方法。
210
测噪声V(k)均是方差为0.25的高斯白噪声。仿真任务为：假设当前时刻为k，根据已知的前k-2拍特征点的运动状态，利用式
（13）~（19）所示的Kalman滤波算法估计当前时刻特征点在图向的预测结果，y方向类似）。其中图1~2为特征点在x方向的位置预测结果和预测误差，图3~4为特征点在x方向的速度预测结果及预测误差。
20151050
像空间中的位置和速度。仿真结果如图1~4所示（只列出x方
从上述图中可以看出，在整个运动过程中，特征点位置和
预测位置
实际位置
1.51.00.50
实际速度
速度（/mm·s-1）
位置误差/mm
位置/mm
-1-2-3-4-5
-0.5-1.0
-5
[***********]100
t/s
[***********]100
t/s
[***********]100
t/s
图1x方向位置预测结果图图2x方向位置预测误差图3x方向速度预测结果图
3.53.02.52.01.51.00.50
[1**********]050
[1**********]05
-0.5-1.00
[***********]100
t/s
误差值/pixel
[***********]100110
X轴位置/pixel
1020
3040步数
506070
图4x方向速度预测误差图5τ=0.2
s时机器人的运动轨迹
图6τ=0.2s时机器人的跟踪误差
1842010，46（21）ComputerEngineeringandApplications计算机工程与应用
4实验
实验平台为一套竞争型网络机器人平台[12]，如图7所示。
其核心部分为两台沈阳新松公司生产的RH-6弧焊机器人，分别标记为ID2和ID3，其底层控制周期为16ms。在每个机器人末端安装一部YOTAN摄像机，其采样频率为25f/s。视觉服务器上安装有大恒公司的DH-CG400图像采集卡。摄像机与视觉服务器之间通过同轴电缆进行视频传输。摄像机与机器人间未标定，机器人模型已知，系统时延约等于两个采样周期。
图7
机器人实验平台
实验中，机器人ID2作为运动目标，其末端在某个特定平
面内做随机运动。机器人ID3根据视觉系统的引导对运动目标ID2进行跟踪，使运动目标在图像中的位置始终位于图像平面的中心。
实验结果如图8所示。其中，目标的运动轨迹为一条折线——
先沿z正方向做直线运动，位置从（-76，646）点到（-76，726
）
点；再沿
x正方向做直线运动，位置由（-76，726）点到（58，726）点。从图8中的跟踪曲线可以看出，利用传统不带时延补偿的图像雅可比矩阵估计方法进行视觉伺服，机器人的跟踪轨迹在（-76，652）至（-76，670）点段及（-76，685）至（-76，703）点段存在较大超调，并且在整个跟踪过程中的跟踪误差均较大。采用提出的带时延补偿的图像雅可比矩阵估计方法，机器人的轨迹较为平滑，且跟踪误差较小。
730720710m
m700/标690坐向680方z670660650
-80
-60
-40-2002040
60
x方向坐标/mm
图8实际机器人跟踪轨迹
实验结果表明，提出的带时延补偿的图像雅可比矩阵估
计方法减小了时延的影响，ｌ心ｋ～
640
-100
提高了视觉系统的性能。
5结论
系统时延在真实的视觉伺服系统中不可避免。为了降
低该时延对整个系统性能的影响，提出的利用Kalman滤波预测图像特征变化的图像雅可比矩阵估计方法，通过对系统时延进行补偿，可以更准确地估计出当前时刻系统的图像雅可比矩阵。通过一系列的视觉伺服的仿真和实验结果表明，该方法相对于传统的不带时延补偿的估计方法具有显著的优越性。
参考文献：
[1]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器人，2004，26
（3）：277-282.
[2]PiepmeierAJ，McmurrayVG，LipkinH.Uncalibrateddynamic
visualservoing[J].IEEETransactionsonRoboticsandAutoma-
tions，2004，20（1）：143-147.[3]YoshimiBH，AllenPK.Alignmentusinganuncalibratedcam-erasystem[J].IEEETransactionsonRoboticsandAutomations，
1995，11（4）：516-521.
[4]项龙江，司秉玉，薛定宇，等.模型无关的无标定视觉伺服控制[J].
机器人，2003，25（5）：424-427.
[5]郭振民，陈善本，吴林.一种基于图像的无标定视觉伺服方法的研
究[J].哈尔滨工业大学学报，2002，34（3）：294-296.
[6]QianJiang，SuJian-bo.On-lineestimationofimageJacobianma-trixbyKalman-Bucyfilterforuncalibratedvisualservo[C]//Pro-ceedingsofIEEEInternationalConferenceonRobotics&Auto-mation.Washington，DC，USA：IEEE，2002：562-567.
[7]ImaiY，NamikiA，HashimotoK，etal.Dynamicactivecatching
usingahigh-speedmultifingeredhandandahigh-speedvisionsystem[C]//IEEEInternationalConferenceonRoboticsandAuto-mation，2004：1849-1854.
[8]GangloffJ，MathelinM.Highspeedvisualservoingofa6DOF
manipulatorusingMIMOpredictivecontrol[C]//IEEEInternation-alConferenceonRoboticsandAutomation，2000：3751-3756.
[9]高振东，苏剑波.带有时延补偿的图像雅可比矩阵估计方法[J].控
制理论与应用，2009，26（1）：23-27.
[10]NakadokoroM，KomadaS，HoriT.Stereovisualservoofrobot
manipulatorsbyestimatedimagefeatureswithout3Drecon-struction[C]//IEEEConferenceonSystems，Man，andCybernet-ics，1999：571-576.
[11]NishioD，NakamuraM，KomadaS，etal.Trackingofmovingob-jectbymanipulatorusingestimatedimagefeatureanditser-rorcorrectiononimageplanes[C]//AdvancedMotionControl，Kawasaki，Japan，2004：653-657.
[12]HuangXing-bo，LiuJing-tai，SunLei，etal.Acriterionforeval-uatingcompetitiveteleoperationsystem[C]//Proceedingsofthe2006IEEE/RSJInternationalConferenceonIntelligentRobotsandSystem.Beijing，China：IEEE，2006：5214-5219.
Ｊ
带时延补偿的图像雅可比矩阵在线估计方法
作者：作者单位：
刘文芳， 邴志刚， 卢胜利， 路海龙， LIU Wen-fang， BING Zhi-gang， LU Sheng-li， LU Hai-long
刘文芳,LIU Wen-fang(天津机电职业技术学院,电气电子技术应用系,天津,300131)， 邴志刚,卢胜利,路海龙,BING Zhi-gang,LU Sheng-li,LU Hai-long(天津信息感知与智能控制重点实验室,天津,300222)
计算机工程与应用
COMPUTER ENGINEERING AND APPLICATIONS2010,46(21)1次
刊名：英文刊名：年，卷(期)：被引用次数：
参考文献(12条)
1.王麟琨;徐德;谭民 机器人视觉伺服研究进展[期刊论文]-机器人 2004(03)
2.Piepmeier A J;Mcmurray V G;Lipkin H Uncalibrated dynamic visual servoing[外文期刊] 2004(01)3.Yoshimi B H;Allen P K Alignment using an uncalibrated camera system[外文期刊] 1995(04)4.项龙江;司秉玉;薛定宇 模型无关的无标定视觉伺服控制[期刊论文]-机器人 2003(05)
5.郭振民;陈善本;吴林 一种基于图像的无标定视觉伺服方法的研究[期刊论文]-哈尔滨工业大学学报 2002(03)
6.Qian Jiang;Su Jian-bo On-line estimation of image Jacobian matrix by Kalman-Bucy filter for uncalibratcdvisual servo 2002
7.Imai Y;Namiki A;Hashimoto K Dynamic active catching using a high-speed multifingered hand and a high-speedvision system[外文会议] 2004
8.Gangloff J;Mathelin M High speed visual servoing of a 6 DOF manipulator using MIMO predictive control[外文会议] 2000
9.高振东;苏剑波 带有时延补偿的图像雅可比矩阵估计方法[期刊论文]-控制理论与应用 2009(01)
10.Nakedokoro M;Komada S;Hori T Stereo visual serve of robot manipulators by estimated image features without3D reconstruction 1999
11.Nishio D;Nakamura M;Komada S Tracking of moving object by manipulator using estimated image feature and itserror correction on image planes[外文会议] 2004
12.Huang Xing-bo;Liu Jing-tai;Sun Lei A criterion for evaluating competitive teleoperation system[外文会议]2006
本文读者也读过(10条)
1. 武波.LI Hui-guang.WU Bo.LI Hui-guang 具有一种新的图像雅可比矩阵估计方法的无定标视觉伺服[期刊论文]-系统仿真学报2008,20(14)
2. 沈晓晶.潘俊民 基于模糊图像矩的动态定位系统[期刊论文]-上海交通大学学报2003,37(6)3. 袁富宇 被动目标定位与跟踪的状态估计器研究[学位论文]1998
4. 赵艳花.蒋建虎.李春娟.段晓明.Zhao Yan-hua.Jiang Jian-hu.Li Chun-juan.Duan Xiao-ming 基于目标运动状态估计的视觉伺服控制[期刊论文]-电子质量2008(6)
5. 阿木古楞.杨性愉.平子良 用变形雅可比(p＝4,q＝3)-傅立叶矩进行图像描述[期刊论文]-光电子·激光2003,14(9)6. 高振东.苏剑波.GAO Zhen-dong.SU Jian-bo 带有时延补偿的图像雅可比矩阵估计方法[期刊论文]-控制理论与应用2009,26(1)
7. 赵清杰.陈云蛟.张立群.ZHAO Qing-jie.CHEN Yun-jiao.ZHANG Li-qun 基于粒子滤波的雅可比矩阵在线估计技术[期刊论文]-北京理工大学学报2008,28(5)
8. 淦华东 自适应子空间估计及其在目标方位跟踪中的应用[学位论文]2005
9. 张应博.ZHANG Ying-bo 基于无极卡尔曼滤波算法的雅可比矩阵估计[期刊论文]-计算机应用2011,31(6)10. 宋平.康庆生.孟正大 无标定视觉伺服在机器人跟踪多特征点目标的应用[会议论文]-2007
引证文献(1条)
1.李杨民.汤晖.徐青松.贠远 面向生物医学应用的微操作机器人技术发展态势[期刊论文]-机械工程学报 2011(23)
引用本文格式：刘文芳.邴志刚.卢胜利.路海龙.LIU Wen-fang.BING Zhi-gang.LU Sheng-li.LU Hai-long 带时延补偿的图像雅可比矩阵在线估计方法[期刊论文]-计算机工程与应用 2010(21)