视觉传感技术在焊接机器人中的应用课件

视觉传感技术在焊接机器人中的应用,背景介绍,从第一台工业机器人 1959 年在美国发明到现在，机器人技术的发展日新月异。根据国际机器人联合会（IFR）2015 年的统计数据，截止 2020 年，工业机器人将达到 26.8 万台，大约有 30%的工业机器人被应用到焊接领域，对应的将有超过 240 亿左右的系统集成和焊接智能化市场。,自1969年CCD图像传感器在贝尔实验室研制成功之后，其广泛的被应用于图像测量，工业测量领域，而在焊接机器人领域，也在向的更加智能化发展。下图为现代视觉传感技术在焊接机器人中的具体用用。,3,目录,1.视觉传感技术,2.视觉信息的处理,3.视觉传感在焊接机 器人中的应用,1.1被动视觉技术 1.2主动视觉技术 1.3.CCD相机原理,2.1图像预处理 2.2图像分离,一.视觉传感技术,1.主动视觉技术,视觉控制的关键在于视觉测量，在焊接过程中视觉技术根据其 光源的不同可分为直接视觉和间接视觉传感两种形式。,主动视觉技术采用一些特殊的光源进行照明，而常用的照射光源有卤钨灯、红外发光二极管、激光管等，光源投射到工件表面，再经过漫反射进入视觉传感器，形成特征图像。 主动视觉技术因为采用了外接光源，因此减少 了电弧光对图像质量的影响，提高了 熔池图像的质量。但在实际应用中，主 动视觉技术所需要的设备较多，系统复 杂，造价昂贵，限制了在实际生产中的 应用。,熔池：指因焊弧热而融化成池状的母材部分即融焊时焊件上所形成的具有一定几何形状的液态金属部分。,2.被动视觉技术,被动视觉技术无外接光源，采用的是焊接时产生的弧光来对焊接区域进行照明，通过视觉传感器从而获得熔池图像。通过图像处理和建模分析，得到熔池特征与焊接参数与焊接质量的关系，进而进行反馈控制，使机器人焊接过程具有可适应焊接条件变化的能力。,优点：无时域或空间滞后，同步性好，设备成本低。 缺点：弧光太强，不能进行直接图像信息采集。 应用方法： （1）滤光法。选取焊接弧光中能量较低而且 噪声少的波段滤光。 （2）基值采样法。选择电流较低的基值时刻进行采样。,被动视觉传感器,被动视觉传感器示意图,被动视觉传感器焊接机器人实物图,3.CCD（charge coupled device）相机原理,CCD原理： 图像通过透镜投影在一列电容上（光敏区域），导致每一个电容都积累一定的电荷，而电荷的数量则正比于该处的入射光强。,在焊接中，采用用于摄像机和一般相机的二维电容阵列，这样可以扫描投射在焦平面上的图像。,一旦电容阵列曝光，一个控制回路将会使每个电容把自己的电荷传给相邻的下一个电容（传感区域）。而阵列中最后一个电容里的电荷，则将传给一个电荷放大器，并被转化为电压信号。通过重复这个过程，控制回路可以把整个阵列中的电荷转化为一系列的电压信号。,CCD是一种半导体器件，能够把光学影像转化为数字信号。,二.视觉信息的处理,1.图像信息预处理,由于采集的图像受到采集环境、摄像机性能以及图像在传输过程中 信号通道的影响，经常会存在噪声，亮度和对比度不够等缺点，因而 需要增强图像的一部分特性而抑制其他不需要的特性，因此需要对图像 进行预处理来除去噪声，调整图像的对比度和突出图像中的重要细节 抑制不必要的细节，从而改善图像的质量。,对图像信息的处理分为两步，一是对图像进行预处理，二是 对图像进行分离。,1.1图像滤波法,用于消除因为摄像机性能、传输通道所引起的随机性噪声。主要方 法有两种： （1）邻域平均法：着红方法可能会模糊图像中的尖锐不连续部分， 而且必然会使图像边界模糊。,（2）中值滤波法：可消除领域平均法的问题，而且在平滑脉冲噪 声方面非常有效,1.2灰度变化法,用于改善因成像时曝光不足或曝光过度而产生的图像模糊不清的情况，可改善图像的视觉效果。,令原始图像f(i,j)的灰度 范围为a,b,线性变换后的 图像f(i,j)的灰度范围为a,b, 则f(i,j)和f(i,j)的关系可表示为：,原始熔池图像,中值滤波后图像,灰度变换后图像,如果图像中的大部分灰度值在a,b范围内，有一部00分像素的灰度值分布在a,b区间之外，这时，可用下式变换：,2.图像分离,机器人在进行焊接操作时，往往只需要关注熔池等这些特定的图像， 也就是说只关心整个图像中法一部分具有代表物体的特征信息，比如说相 同的灰度值、相同的颜色等，因此需要计算机将这些特征与其他图像区分 开，而这种区分与提取的过程就叫做图像的分离。,2.1阈值处理法,根据给定的原则，在画面中找出灰度一致的部分。,为了从图像中取出所需要的部分， 可以选择适当的一个阈值进行图像分离， 给定一个阈值t，以阈值t为界，将图像f(i,j)的灰度值分为0和1，并记为f(i,j):,当a=1（黑），b=0（白）时，即称 图像的二值化。,在进行图像二值化处理时，可以给它一个 灰度的集合Z，再定义二值图像函数：,阈值方法分为全局阈值和局部阈值，如果在图像的分割过程中对图像的每个像素所使用的阈值t是同一个阈值，称为全局阈值法，若每个像素所使用的阈值t都不相同，则称局部阈值分离法,2.图像分离,2.2边缘检测法,边缘检测的目的是发现图像中关于形状和反射或透射比的信息。 边缘检测法是图像分离时最重要的方法，因为图像的其他特征都是由 边缘和区域这些特征推导出来的，而且可以弥补阈值处理法在处理复 杂图像时的不足。,原始熔池图像,阈值处理后图像,边缘检测法图像,三.视觉传感技术在机器人焊接中的应用,1、主动视觉传感技术在机器人焊接中的应用 国外针对焊接过程的结构光的主动视觉传感器，以英国的Meta公司和加拿大的Serco-robot公司的为例，其产品的特点在于图像采集、图像处理程序都固化在硬件中，各环节之间运行流畅，误差率较低。但没有特别好的优化算法。在国内，上海交通大学设计了一套LVST传感系统，充分考虑了对主动视觉超前检测误差，设计了轨迹修正方法，使焊缝跟踪达到更好的实时性与可靠性。,2、被动视觉传感技术在机器人焊接中的应用 在国内，上海交通大学通过被动视觉传感技术，结合有效的图像处理技术和创新的控制技术，建立了一套基于被动视觉的铝合金机器人焊接焊缝跟踪与成形控制的在线控制平台。在国外，有开发了一套基于视觉传感和电弧传感的三维焊缝实时跟踪系统。左右的偏差精度达到 。高度偏差达到了,任务 分配,01,02,03,04,参考文献,相关背景,视觉传感技术,视觉信息处理,实际应用,1.沈鸿源应用于铝合金焊接中 的被动视觉获取 上 海交通 大学学报， ，（ ） ,1.金建敏.弧焊机器人焊接路径预规划的研究D.北京:清华大学,1996.,2.岳宏,等.基于结构光焊缝跟踪系统的研究J.河北工业大学学报, 1999,28(4):21 24.,1.肖强.焊接机器人视觉系统J.焊接,1999,(4):7 10.,2.王天亚.多功能无盲区Laser- PSD扫描 式焊缝自动跟踪系统的研究D.北京:清华大学,1999.,1.陈志翔，宋永伦，张军，等基于激光视觉传感的铝合 金自适应焊接 北京工业大学学报， ，（ ）： ,16,Thanks,谢谢大家,