基于无标定的机器人平面运动物体跟踪伺服系统研究.doc

基于无标定的机器人平面运动物体跟踪伺服系统研究)摘要：本文在未标定摄像机模型和机器人手眼关系的情况下，针对“眼在手”型机器人视觉伺服系统，采用基于位置的控制方法，提出了一种简易实用的无标定算法，采用 PD 控制实现了平面运动物体的跟踪，通过仿真和实验验证了该方法的有效性和可靠性关键词：基于位置的机器人视觉伺服；眼在手型；摄像机无标定；平面运动物体跟踪Planar motion tracking with uncalibrated robot visual sevor systemAbstract: This paper presents a simple and useful uncalibrated algorithm used in an ‘eye-in-hand’ position-based robot visual servo system. A PD control scheme is applied to realise a planar moving object tracking. Simulation and experiments are done to prove the validity of the proposed method.Keywords: position-based visual servo system; eye-in-hand;uncalibrated camara; plannar motion tracking0 引言机器人视觉伺服首先由 Hill 和 Park 在 1979 年提出，指为机器人末端控制器提供闭环的位置控制，其任务是利用视觉信息来控制机器人末端执行器相对于目标物或目标点的位姿。

关于视觉伺服的研究涉及到很多领域：高速图像处理、运动学、动力学、控制理论、实时计算等，因此研究上存在一定的困难但这同时也引起了许多研究者的兴趣可以从不同的角度，如反馈信息类型、控制结构和图像处理时间等方面对机器人视觉伺服系统进行分类例如根据摄像机的安装位置可分为eye-in-hand安装方式（手眼系统）和其它安装方式（固定摄像机系统） 其中比较重要和常用的是根据反馈信息类型(误差信号定义的不同) 进行的分类，据此机器人视觉伺服系统可分为基于位置( position-based)的视觉控制和基于图像(image-based)的视觉控制，前者的反馈偏差在3D Cartesian空间进行计算(误差信号定义在三维笛卡儿空间 )，视觉或特征信息用来估计机械手末端与目标的相对位姿后者的反馈偏差在2D图像平面空间进行计算 (误差信号定义在二维图像空间 )基于图像的视觉伺服的优点是直接使用图像特征空间的偏差控制机器人的运动，不需要三维空间位姿估计，减少了计算延迟，对传感器建模及摄像机标定误差不敏感，静态定位精度比较高但是设计控制器困难，并且需要计算图像雅克比矩阵，由图像雅可比矩阵的定义可知，随着图像特征点的变化，图像雅可比矩阵应该实时调整，它是时变且非线性的，在动态估计时需要不断进行更新和求逆，计算时间上也有待于进一步优化； 而且，计算图像雅可比一般需要估计目标的深度信息，即目标物体相对于摄像机的深度，而这在单目视觉图像处理方面(特别是眼在手型或目标物体运动情况下 )是比较困难的，若计算的不准确，将直接影响到视觉伺服系统的性能。

很多研究基于使用一个固定的图像雅可比，虽然能够很快计算出来，但是只有在任务空间的一个较小区域才有效 [1]基于位置的方法的优点是直接在笛卡儿空间控制机器人的运动，符合机器人操作习惯，设计过程直观，不易产生奇异性另外，它把视觉重构问题从机器人控制问题中分离出来，可以分别对其研究但这种方法一般需要对视觉系统和机器人进行精确标定，对图像进行解释，增加了计算量由于前面所提到的图像雅可比矩阵的计算困难，基于图像的方法所提的降低计算负担等优势在操作中面临怀疑而基于位置的方法中的计算缺点在近期的研究中得到改善同时，一些机器人内部已经具有关节反馈环节，它要求输入速度或位置增量来实现机器人伺服系统的运动控制，即机器人逆运动学环节已集成在机器人内部，这就给基于位置的机器人视觉伺服提供了优越条件因此本系统采用基于位置的视觉伺服控制结构 1 预备知识1.1 伺 服 过 程 简 介基于位置的视觉伺服系统可以分为以下几个部分：图像处理、特征提取、摄像机标定、位姿估计、机器人控制文献[2.3.4]针对摄像机固定的单目机器人视觉系统，提出了基于非标定的机器人平面运动目标跟踪、抓取方案，利用仿真结果验证了方法的有效性。

本文的伺服方案以“眼在手”型单目机器人为对象，实现摄像机无标定的基于位置的平面运动物体的跟踪，并对整个算法进行了试验验证，证明了其有效性和可靠性本文的伺服过程中，图像处理及特征提取采用文献[5]提出的基于遗传算法的图像识别方法，该方法较好地实现了伺服过程的实时性，在此不再赘述摄像机标定环节被省略，代之以本文提出的无标定方法位姿估计环节由于其计算量大一直是基于位置的伺服方式被质疑的地方，但事实上在目前的研究中已经越来越得到改善由于本系统使用的 RBT-6T/S04S 六自由度机械手内部已经具有关节反馈环节，通过操作者输入末端执行器位置指令即可完成运动，因此这一环节在本文也不是重点机器人控制环节采用传统的 PID 方法1.2.摄 像 机 标 定 与 无 标 定摄像机标定环节，通常是指在特定的摄像机模型基础上，在机器人执行任务之前对所用摄像机模型的内外参数进行的计算对于基于位置的视觉伺服系统非常关键通常将摄像机标定方法分为两类：传统的标定方法和自标定方法传统的标定方法是利用已知的标定参照物进行摄像机内外参数的计算然而，在实际应用中摄像机的内外参数，如焦距、位姿等，往往随任务的不同而改变如果每次改变后都重新标定，显然很不方便。

在某些场合，如深海探测、抢险救灾等，这种使用标定物的方法也是不可行的为此，研究人员提出了自标定方法自标定方法不是利用已知参照物，而是利用场景特征或摄像机的特定运动来求解摄像机内外参数由于实际环境中存在着严重的非线性、不确定性和复杂的扰动，静态的摄像机标定方法不可避免地存在着一些缺陷首先，所用摄像机模型本身就可能存在误差；其次，摄像机的标定不能做到足够的精确；再次，标定时使用的信息不可避免地带有噪声这些缺陷使得机器人在工作一段时间后，误差的累积会达到不能接受的程度如果每过一定时间就进行重新标定，则无论从重新标定时机的选择，还是从工作量的负荷考虑，都是不现实的由于多种因素的影响，利用标定方法难以得到理想的系统模型；标定的结果只在机器人工作区域中完成标定的位置及其有限的邻域内有效，而标定结果却要在整个工作空间中使用基于上述背景，产生了摄像机无标定方法 [6]对于眼在手型装置，还涉及到手眼关系的标定传统的手眼系统采用基于模型的控制方法，本质上属于开环静态控制，机械臂定位精度与模型标定准确度有关，误差积累现象严重，难以工程实现近年来，无标定方法引起了广泛重视和注意其核心是在不精确或未知手眼关系条件下，利用视觉反馈误差规划机器人运动，从而完成视觉伺服、跟踪任务。

由于采用了闭环反馈控制策略，从根本上消除了模型准确度对机械臂定位精度的影响 2 本文提出的无标定算法本文所提出的算法在机器人工作过程中，不需要提供摄像机与机器人之间的关系，即不需要事先标定他们两者之间的坐标系转换参数，也无须对机器人手眼关系进行标定，而是通过已知的场景信息，在工作过程中对目标的图像坐标与世界坐标的关系进行处理，达到实时控制的目的机器人视觉跟踪问题可定义为移动机器人手爪，使得运动目标在图像特征空间中的投影始终固定在期望位置本文建立了六自由度机械手的视觉伺服系统，用于跟踪平面物体的运动摄像机固定安装在机械手的末端执行器上，并保证摄像机光轴垂直于工作台平面，摄像机图像平面和物体运动平面之间的距离保持不变眼在手的构造方式，可防止图像特征被遮盖通过摄像机的视觉信息反馈，对在操作平面运动的目标实施跟踪、操作机器人内部标定已经完成，即末端执行器在世界坐标系中的位置可通过其内部传感器实时获得手眼关系和摄像机模型完全未知矩形目标在工作平面内自由平动，视觉控制器在图像特征空间中进行运动规划，并将规划结果映射到机器人运动空间中去，作为运动指令下达给机器人伺服控制器，从而驱动手爪进行平动跟踪，直至追上目标。

为此，需要建立图像特征空间与机器人运动空间之间的映射关系模型APwZyxixiycxciOc),(woyx),(wBB图 1 系统几何模型系统的几何模型如图 1 所示：以机器人的基坐标系作为世界坐标系摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵 R 与平移向量 t 来描述R 为 3×3 正交单位矩阵，t 为三维平移向量A、B 为物体运动平面内两点，设目标物体中心点 P 在世界坐标系与摄像机坐标系下的齐次坐标分别为：，则两者之间存在以下关系：),(),,(ccwzyxzyx（1）01cwwcztRzT其中，因为摄像机与基坐标系仅存在绕 Z 轴的角度旋转，且摄像机与物体运动平面的距离保持不变，即目标物体相对于摄像机的深度 Z 不变，因此：R 为 2×2 正交单为矩阵，且在整个伺服过程中保持不变t 为二维平移向量， ，与摄像机固定的方式不同，t 矩阵是时变性的 ，其中),(yxt cosiniR是摄像机坐标系 轴与基坐标系 轴的夹角cwx故（1）式可写成：（2） yxwwc tRyxtyxT0而根据摄像机的小孔成像模型可以建立物体在图像平面坐标 与摄像机平面坐标 之间的),(iiyx),(cyx关系为：（3）ciiyxZf结合式（2）则得到目标物体在图像平面坐标与世界坐标之间的关系为： （4） )(yxwii tRZfyx以此作为无标定算法的基础。

如图 1 所示，同时观察目标物体和 A,B 两点，通过同一时刻下目标物体和其中一点的位置关系式的变换，推导出目标的位置根据（4）式，可得到 A，B 两点以及目标物体的图像坐标为：（5） )(yxwAiAtRZfyx（6）)(yxBiBtf（7）)(yxwoiotRZfyx（5）-（6）得： ，其中， 可通过图像处理获得，wBAiBiAyxRZf ),(,iBiAyx通过测绘已知，则可以得到未知的 为：),(,wBAwyx Zf（8）1iBiAwBAyxRZf（7）-（5）得： ，将（8）式代入，即可求出 为：wAOiiOyxRZf ),(wOyx（9） AiBiAwBAiiwOyxyx1从（9）式看出，由于摄像机固定安装在末端执行器上，方向垂直于运动平面且之间的距离保持不变，一经测出即为常数， 也为常数，只要初次计算得出便不需实时计算，),(,wBAwx TiBiAiyx),(只有 需要通过图像处理实时给出显示出了算法的简单易行iAiOy3 控制器的设计本节利用基于身份的密码系统的诸多优点，并应用第 2 节中提出的指定多接收者签密方案，设计出一种可以工作在多信任域制造网格环境下，不同信任域的网格用户身份认证模型，节省了用户端的计算开销，提高了整个系统的效率。

为完成目标跟踪任务，必须把控制策略和视觉信息紧密结合起来机器人控制器的控制律使用 PD 控制策略根据目标当前位置和手爪世界坐标的偏差，其中目标的世界坐标通过（9）式获得，手爪在机器人基坐标系统的位置可通过机器人内部传感器适时获得，通过控制律计算出下一时刻末端执行器的运动量，机器人系统提供的增量及速度控制函数保证了末端执行器的控制设 i 时刻目标和手爪的世界坐标分别为、。