机器视觉技术与应用实战 第十章 机器人视觉引导

1、机器视觉技术与应用实战机器视觉技术与应用实战10.1机器人视觉引导理论基础机器视觉技术与应用实战机器视觉技术与应用实战什么是工业机器人？机器人（Robot）是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的路程轨迹行动。它的任务是协助或取代人类去完成某些工作，例如高危行业工作、肮脏环境的工作、机械重复性的工作等。四轴机器人六轴机器人并联机器人机器视觉技术与应用实战机器视觉技术与应用实战什么是机器人视觉？机器人视觉引导主要是给机器人加上眼睛，对产品不确定性的位置变化进行智能识别，引导机器抓取物品或按规划的路线进行工作。机器视觉技术与应用实战机器视觉技术与应用实战 机器人视觉引导理论基础机器人2D引导视觉机器人3D引导视觉 2D就是二维空间，是一个单一的平面，引导的定位坐标只有X、Y和角度。2D视觉引导的原理是机器视觉系统识别或定位到产品的位置坐标，通过机器视觉与机械人的位置进行坐标系变换，使机器视觉系统识别的坐标位置精确的转换成机械手运行的变量数值，引导机械人进行产品的下一步动作。当产品姿态呈现三维坐标变化时，传统2D视觉技术已满足不

2、了功能要求。机器人3D视觉引导系统利用3D视觉技术对产品表面特征进行分析，得到产品的三维姿态信息，引导机器人进行无序分拣，路径引导规划等操作。机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉 机器视觉与机器人的坐标系变换即“手眼标定”把机器人和视觉在空间上关联起来。标定是机器人引导过程中坐标系变换最为关键的一个步骤，标定的好坏直接决定了定位的准确度和精度。在做手眼标定之前，需要对图像进行标定，完成对图像的畸变矫正，这也称为相机的标定。相机标定的作用是校正镜头的畸变、将图像的像素单位转换成毫米、计算图像坐标系与世界坐标系的夹角。相机标定之后就是手眼标定（相机与机器人之间的标定），主要是坐标系变换。坐标变换分为三个步骤，第一步是坐标系转换，第二步是旋转中心查找，第三步是综合坐标系。机器视觉与机器人的坐标系变换机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉1、坐标系转换 通常相机与机器人的坐标系转换标定，使用多点标定。常见的如9点、4点、2点等。多点标定指分别取参照点对应的的n组图像坐标和机器人的n组世界坐标一一对应换算得到。多点标定，也可以

3、根据不同的标定方式又可以分为相对位置标定和绝对位置标定。相对位置标定：移动机器人的XY轴，使参照点出现在视野的多个位置，分别记录参照点的像素坐标和机器人的世界坐标，通过图像坐标与机器人坐标一一对应的标定算法计算完成标定。标定中需要注意，相机如果是安装在机械人末端，如图（a）所示，标定时产品不移动，只需要机械手移动多点位置进行标定即可；相机如果是固定安装如图（b）所示，标定时相机位置固定，机械手夹具吸取产品或者参考点在相机的视野范围内进行移动多点位置进行标定。（a）相机安装在机器人末端（a）相机安装在机器人末端机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉相对位置标定完成后的图像坐标系与机器人坐标系关系如图所示，XY轴平行，原点不重合。备注：（Xw，Yw）表示机器人坐标系（X1，Y1）表示相机坐标系相机坐标与机器人坐标标定的前后关系图机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉绝对位置标定：使用标定板，一次性获取标定板上多个Mark点的像素坐标，然后通过机器人法兰中心的针尖依次对准标定板上的Mark点记录机器人的世界坐标，通过标定算法

4、完成标定。通过绝对位置标定完成后的图像坐标系与机器人坐标系如图所示，XY轴平行，原点重合。备注：（Xw，Yw）表示机器人坐标系（X1，Y1）表示相机坐标系相机坐标与机器人坐标标定的前后关系图机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉2、旋转中心查找 旋转中心是指物体旋转时所绕的固定点，如果机器人使用世界坐标时，就是法兰中心。如果使用工具坐标时，就是工具的中心。物体绕旋转中心旋转时，物体的XY坐标也会发生改变，若想通过一次对位，则需要通过旋转中心计算出物体旋转角度之后，XY发生的偏移。旋转中心的计算：取圆周上的三点或两点和夹角，通过几何公式即可求得圆心坐标，其中圆心坐标即为旋转中心的坐标。例如：下图所示，已知P2和P3为圆周上的两点、夹角，即可求出P1点（旋转中心）的坐标。旋转中心查找标定关系图机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉3、综合坐标系变换 当机器视觉的图像坐标系与机器人的坐标系转换标定完成，同时也查找到了机器人的旋转中心坐标后，就可以进行机器视觉与机器人定位引导数值的综合转换即相对位置标定与坐标的旋转偏移。使用相

5、对位置标定是由于图像坐标系与机器人坐标系的原点不重合如图所示，且输出坐标需要是绝对位置坐标时，就需要进行坐标转换。相对位置坐标关系示意图 假设P1点为旋转中心：P1在机器人坐标系下的值P1在图像坐标系下的值P2在图像坐标系下的值P2在机器人坐标系下的值：机器视觉技术与应用实战机器视觉技术与应用实战 第一节 机器人2D引导视觉 坐标的旋转偏移：当定位的Mark点与机器人的旋转中心不重合时，如图所示，Mark点随着旋转中心旋转时，Mark点的XY坐标也会发生改变 坐标旋转偏移坐标关系示意图假设P1点为旋转中心：P3点为P2点绕P1点旋转一定角度之后的位置；在已知P1点、P2点坐标和旋转角度时，就可以通过几何公式推算出P3点的坐标，即P2点绕P1点旋转一定角度之后的坐标值。机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉 机器人3D视觉引导流程如图所示，首先连接3D点云图像传感器采集3D图像数据，其次是手眼标定机器人坐标转换与3D定位识别，然后综合计算对象或产品在机械人的相对坐标位置。3D视觉系统引导流程及其原理机器人3D视觉引导流程图机器视觉技术与应用实战机器视觉技

6、术与应用实战 第二节 机器人3D引导视觉 连接3D相机，获取3D图像(点云数据)，如图所示，通过点云数据或物体的CAD模型可以生成3D Object Model。目前市面上常见的3D相机有结构光双目3D相机、激光线扫3D相机以及TOF飞行时间3D相机，在第二篇相机部分有过介绍。（一）3D成像原理三维图像传感器点云数据图机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉三维坐标系位置点描述（二）手眼标定原理机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉相机与机器人的坐标转换原理 手眼标定即确定相机和机器人坐标系之间的转换，相机一般有两种固定方式：一种是相机固定在机器人手臂上。第二种是相机固定位置安装。我们采用以下参数定义：机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉相机固定在机器人手臂上的坐标转换原理 相机固定在机器人上，并由机器人带动相机移动不同姿态，获取在不同姿态下标定对象在相机坐标系中的位置，各个坐标系位置关系如图所示。各个坐标系位置图机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉

7、相机固定位置安装坐标转换原理 相机固定位置安装，并由机器人带动标定对象不同姿态，获取在不同姿态下标定对象在相机坐标系中的位置如图10.10所示，各个坐标系位置图机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉3D Object Model（3D目标物体搜索）（三）3D定位识别3D匹配 使用基于曲面的匹配算法，获取产品在点云数据中坐标，即得到产品在相机坐标系的位置，即这部分内容的算法基础详见第二章。3D定位，主要是对采集到的点运数据，利用3D模板对点云数据进行搜索从而匹配得到产品的空间坐标位置。3D Object Model是描述3D对象的数据结构，使用创建曲面模型的算法创建3D Model数据结构,用于3D匹配。下面是几种3D Object Model获取方法。通过设置物体表面的点坐标创建。从计算机辅助设计（CAD）数据获得。通过三维重建方法。机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉（四）综合计算对象/产品在机器人的相对坐标位置 首先通过手眼标定得到相机与机器人坐标系位置 （），再通过3D匹配得到产品对象在相机坐标系位置 ，最后根

8、据坐标转换计算产品对象在机器人基坐标系位 置 。综合计算对象/产品在机器人的相对坐标位置时，还要考虑3D传感器的安装方式，目前有3D传感器固定在机器人末端和相机固定位置安装两种形式。机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉传感器固定在机器人末端 传感器安装在机器人的末端（如图10.11），点云数据的采集是通过机械手的移动来完成的，可以得到计算公式：传感器安装在机器人末端机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉相机固定位置安装 相机安装在固定的位置进行3D图像的采集，如图10.12所示，通过传感器以机械手的坐标位置关系得到：传感器固定位置安装机器视觉技术与应用实战机器视觉技术与应用实战 第二节 机器人3D引导视觉 例如：图为3D传感器数据采集界面通过3D传感器综合坐标位置计算结果可以得到机械后移动的相对位置坐标及姿势位置量 。3D传感器数据采集界面3D传感器综合坐标位置计算结果机器视觉技术与应用实战机器视觉技术与应用实战小结 综上所述，几乎所有的机器人2D引导项目，都可以通过使用一次或者多次以上介绍的坐标旋转偏移和坐标系转换

9、的方法来计算出最终需要的坐标值。12什么是相对位置标定？什么是绝对位置标定？机器视觉技术与应用实战机器视觉技术与应用实战10.2螺丝机2D视觉定位引导应用案例机器视觉技术与应用实战机器视觉技术与应用实战 螺丝机2D视觉定位引导应用案例 自动锁螺丝机的用途非常广泛，它速度快，效率高，安全性高，并且能节省人工。就目前的情况而言，它的品种规格也较为齐全，90%以上的螺钉都能实现自动化拧紧，对于一些高精度的自动锁螺丝来说，普通的螺丝机精度已经不能满足。产品发展的高度集成化要求内部零部件及其螺丝越来越小，要求精度越来越高，所以机器视觉高精度自动定位锁螺丝机逐渐成为市场主流。行业背景案例背景 视觉引导自动螺丝机使用范围很广，所以在沿海城市的装配业、电器电子、仪器仪表、玩具以及汽车制造业和一些流水线作业的企业都纷纷使用了带视觉的全自动锁螺丝机。机器视觉技术与应用实战机器视觉技术与应用实战发梳梳柄背部图大型发梳的梳柄背部有9个螺丝孔需要固定螺丝，并且每次梳柄过来的位置都会有微小的差异，自动锁螺丝对精度和角度的要求都非常的高，所以通过视觉定位的方式来实现梳柄的螺丝孔定位，引导及机械手进行螺丝锁附。螺丝机

10、2D视觉定位引导应用案例机器视觉技术与应用实战机器视觉技术与应用实战视觉定位需求：（1）检测内容：定位视野范围内的固定方形孔位置坐标（2）产品大小：30mm*24mm产品大小（5mm*4mm）（3）安装高度：200mm（4）精度要求：0.1mm（5）检测速度：1pcs/s（6）通讯方式：TCP/IP网络通讯技术优势：（1）自动锁螺丝机速度要求高，机器视觉系统可以快速的定位螺丝的位置和角度，有利于提高螺丝机的速度和精度。（2）添加了机器视觉系统定位后的螺丝机，对产品的固定治具设计精度的要求降低，可以节省加工成本。螺丝机2D视觉定位引导应用案例机器视觉技术与应用实战机器视觉技术与应用实战硬件选型与安装 视觉硬件的选择，包括相机、镜头、光源和视觉控制器的选择。（1）视觉控制器的选择：视觉控制器选择VDCPT-1,参数如第九章节表9.1所示。（2）相机的选择：视觉理论精度为0.1mm/5=0.02mm，相机分辨率最少要大于30mm/0.02mm=1500，并且视野范围必须要比产品范围大，所以我们选择200万像素相机，分辨率为1628*1236pix，视野范围为：长1628*0.02=32.5m

《机器视觉技术与应用实战 第十章 机器人视觉引导》由会员知**分享，可在线阅读，更多相关《机器视觉技术与应用实战 第十章 机器人视觉引导》请在金锄头文库上搜索。