第7章机器视觉测量系统.ppt

现代检测技术现代检测技术 第七章第七章机器视觉测量系统机器视觉测量系统精勤求学 敦笃励志 果毅力行 忠恕任事主要内容主要内容•图像传感器图像传感器 •图像测量系统图像测量系统 •视觉检测的主要应用视觉检测的主要应用 CCD照明、镜头、图像传感器、图像采集、图像处理照明、镜头、图像传感器、图像采集、图像处理 尺寸测量、模式识别、目标检测、三维重构尺寸测量、模式识别、目标检测、三维重构… CCD摄像器件的性能参数v灵敏度灵敏度v分辨率分辨率v信噪比信噪比v光电转换特性光电转换特性v光谱响应光谱响应v暗电流暗电流7-1 图像传感器图像传感器7-1 图像传感器图像传感器7-1 图像传感器图像传感器7-1 图像传感器图像传感器7-2 图像测量系统图像测量系统 控制中枢、图像处理控制中枢、图像处理 照明照明 镜头镜头、、图像传感器图像传感器 图像采集图像采集 视频信号视频信号 7-2-1 照明照明 v 光源光源 v 照明技术照明技术 v 不同光源与照明技术效果举例不同光源与照明技术效果举例 光源光源v 方向方向 §直射光直射光：入射光基本：入射光基本上来自一个方向，入上来自一个方向，入射角小，被照射物体射角小，被照射物体有阴影；有阴影；§散射光散射光：入射光来自：入射光来自多个方向，不会投射多个方向，不会投射出明显阴影。

出明显阴影7-2-1 照明照明 v 光谱光谱§光的组成成份，如日光由从紫外到红外的所有光谱组成光的组成成份，如日光由从紫外到红外的所有光谱组成§取决于光源的类型和光学滤色镜取决于光源的类型和光学滤色镜§可见光光谱如图所示：可见光光谱如图所示：光源光源7-2-1 照明照明 光源光源v 强度强度§光照强度会影响摄像头的曝光，光线不足会造成对比度降低，光照强度会影响摄像头的曝光，光线不足会造成对比度降低，噪声过大；噪声过大；§光线过强会造成图像饱和，能量浪费以及散热等问题光线过强会造成图像饱和，能量浪费以及散热等问题v 均匀性均匀性§在所有机器视觉应用中，都要求均匀的光照照射强度会随在所有机器视觉应用中，都要求均匀的光照照射强度会随距离和角度偏离而减小，需要特别考虑距离和角度偏离而减小，需要特别考虑7-2-1 照明照明 光源光源v 光源的种类光源的种类§按按发光器件发光器件：卤素等、荧光等、：卤素等、荧光等、LED灯、氙（灯、氙（xian）灯等；）灯等；§按按几何形状几何形状：环形、方形、长条型灯；：环形、方形、长条型灯；§按按发光特性发光特性：点光源、线光源、面光源等；：点光源、线光源、面光源等；§按按照射角度照射角度：直射、间接、同轴、平行等。

直射、间接、同轴、平行等§LED灯灯：颜色丰富、发光效率高、响应速度快、体积小、发：颜色丰富、发光效率高、响应速度快、体积小、发热小、功耗低、发光稳定、寿命长、易于组成不同形状的光热小、功耗低、发光稳定、寿命长、易于组成不同形状的光源，是重要的光源发展趋势源，是重要的光源发展趋势 7-2-1 照明照明 卤素光源（仪器用）卤素光源（仪器用）7-2-1 照明照明 LED光源（光源（CCS公司公司））7-2-1 照明照明 环形环形LED光源光源7-2-1 照明照明 照明技术照明技术v 正向照明正向照明§镜面镜面：光线直接反射进入镜头；：光线直接反射进入镜头；§离轴照明离轴照明：光源在镜头轴线侧面、避开了镜面反射；：光源在镜头轴线侧面、避开了镜面反射；§半漫射照明半漫射照明：光照较均匀，如环形光；：光照较均匀，如环形光；§漫射照明漫射照明：光线来自所有方向，镜面反射最少；：光线来自所有方向，镜面反射最少；§黑场黑场：光线与镜头视线方向垂直光线与镜头视线方向垂直v 背光照明背光照明§漫射式漫射式：光源：光源+平板，背面照射；平板，背面照射；§凝聚式凝聚式：使用镜头将光线集中于一个方向；：使用镜头将光线集中于一个方向；§黑场黑场：适用于检测透明物体中的裂痕、气泡等。

适用于检测透明物体中的裂痕、气泡等7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 高角度亮场与低角度暗场高角度亮场与低角度暗场光照强、较均匀光照强、较均匀 光滑表面的文字、伤光滑表面的文字、伤痕等纹理检测痕等纹理检测 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 从边上的黑场照明从边上的黑场照明 最适合凹凸不平表面及表面缺陷，缺点最适合凹凸不平表面及表面缺陷，缺点是阴影太大是阴影太大 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 用明视野和暗视野照明对比用明视野和暗视野照明对比 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 用碗状照明消除晕眩光用碗状照明消除晕眩光 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 用透射光检查物体的有无用透射光检查物体的有无 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 光源的颜色差异光源的颜色差异 中心部有银色涂层的铜框架中心部有银色涂层的铜框架 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 红外线照明红外线照明 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 红外线照明红外线照明 7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 紫外线照明紫外线照明 7-2-1 照明照明 v 偏振光照明偏振光照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 7-2-1 照明照明 v 偏振光照明偏振光照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 图图②②镜子上灰尘指印；图镜子上灰尘指印；图③③镜子上油脂指印；图镜子上油脂指印；图④④光盘上油脂指印光盘上油脂指印7-2-1 照明照明 不同光源与照明技术效果举例不同光源与照明技术效果举例 v 偏振光照明偏振光照明 8-2-27-2-1 照明照明 小结：思考问题小结：思考问题§1 一个典型的机器视觉图像测量系统包括哪些一个典型的机器视觉图像测量系统包括哪些环节？环节？§2 光源的种类有哪些？为了得到更适合于测量光源的种类有哪些？为了得到更适合于测量目的的图像，光源的投射方式分别有哪些？目的的图像，光源的投射方式分别有哪些？7-2-2 镜头镜头 v 镜头的视野、景深和焦距示意图镜头的视野、景深和焦距示意图7-2-2 镜头镜头 v 基本概念基本概念§成像面成像面：被测物及其背景通过镜头投影到二维图像传感器平：被测物及其背景通过镜头投影到二维图像传感器平面，一般是长宽比为面，一般是长宽比为4:3的矩形；的矩形；§视野视野（（Field of View，，FOV）：与成像面对应的景物平面范）：与成像面对应的景物平面范围；围；§工作距离工作距离（（Work Distance，，WD）：被测物到物镜的距离；）：被测物到物镜的距离；§景深景深：以镜头最佳聚焦：以镜头最佳聚焦WD为中心，前后存在一个范围，在为中心，前后存在一个范围，在此范围内的物体能够清晰成像，这个范围被称为景深此范围内的物体能够清晰成像，这个范围被称为景深（（Depth of View，，DOV））§焦距焦距选择镜头的关键参数选择镜头的关键参数 v 物镜的焦距物镜的焦距f§f可以短到几毫米，长达数十米；可以短到几毫米，长达数十米；§变焦距镜头可以通过调节焦距获得不同的放大倍数。

变焦距镜头可以通过调节焦距获得不同的放大倍数v 相对孔径相对孔径F=D/f（光圈）（光圈）§D是镜头中光线能通过的有效圆孔直径是镜头中光线能通过的有效圆孔直径,即入瞳，即入瞳，D越大，收越大，收集的光线越多；如集的光线越多；如f = 50mm，，D = 8.9mm，则相对孔径，则相对孔径F= 8.9/50=1/5.6；；§镜头上以镜头上以1/F表示光圈值，光圈每增加一档，光照度增加一表示光圈值，光圈每增加一档，光照度增加一倍；倍；§光圈越小，景深越长为了获得较大景深的清晰图像，可以光圈越小，景深越长为了获得较大景深的清晰图像，可以采取加大光强，减小光圈的方法采取加大光强，减小光圈的方法8-2-27-2-2 镜头镜头 选择镜头选择镜头 PMAG：镜头的放大倍数：镜头的放大倍数7-2-2 镜头镜头 选择镜头选择镜头 v 如何选择焦距如何选择焦距WD：工作距离：工作距离 Ho：视野的高度：视野的高度 Hi：相机有效成：相机有效成像面高度像面高度 PMAG：镜头的放大倍数：镜头的放大倍数 7-2-2 镜头镜头 选择镜头选择镜头v 物距物距WD、放大倍数、放大倍数PMAG和焦距和焦距f的关系的关系 利用上式可通过被测物尺寸（利用上式可通过被测物尺寸（Ho）、物距（）、物距（WD））和像平面高度（和像平面高度（Hi）计算出所需镜头的焦距）计算出所需镜头的焦距f。

7-2-2 镜头镜头 选择镜头选择镜头v 普通镜头选择步骤：普通镜头选择步骤：§获得物体至镜头的距离获得物体至镜头的距离WD，如果是一个范围，取中间值；，如果是一个范围，取中间值；§计算图像放大倍数计算图像放大倍数PMAG；；§利用公式计算所需的焦距；利用公式计算所需的焦距；§选取与计算值最接近的标准镜头产品，并取其焦距值；选取与计算值最接近的标准镜头产品，并取其焦距值；§根据所选镜头焦距重新核算镜头到物体的距离根据所选镜头焦距重新核算镜头到物体的距离WD举例：举例：物体至镜头的距离在物体至镜头的距离在10cm~30cm范围内，取范围内，取WD=20cm设视场高度为设视场高度为6cm，传感器成像面高度为，传感器成像面高度为6.6mm，则镜头放，则镜头放大倍数为：大倍数为：7-2-2 镜头镜头 计算所需镜头焦距：计算所需镜头焦距：标准镜头焦距：标准镜头焦距：8mm、、12.5mm、、16mm、、25mm和和50mm16mm镜头的焦距最接近计算值，使用该值重新计算镜头的焦距最接近计算值，使用该值重新计算WD：：选择镜头选择镜头7-2-2 镜头镜头 v按等效焦距按等效焦距§广角镜头广角镜头：景深大，：景深大，WD短，视角大，易出现桶形失真；短，视角大，易出现桶形失真；§长焦距镜头长焦距镜头：：WD大，放大倍数大，易出现枕形失真；大，放大倍数大，易出现枕形失真；§中焦距镜头中焦距镜头：：f约在约在50mm和和200mm之间，最常用镜头；之间，最常用镜头；v按镜头所具有的功能按镜头所具有的功能§变焦距镜头变焦距镜头（自动调焦）（自动调焦）§变光圈镜头变光圈镜头（自动光圈）（自动光圈）§远心镜头远心镜头：可以产生正交投影拍摄效果；：可以产生正交投影拍摄效果；§微距镜头微距镜头：拍摄微小物体，放大倍数在：拍摄微小物体，放大倍数在0.25~2之间。

之间§显微镜头显微镜头：成像比例大于：成像比例大于10倍§紫外镜头紫外镜头、、红外镜头：红外镜头：专门针对紫外光或红外光折射特性设专门针对紫外光或红外光折射特性设计的镜头计的镜头镜头的分类镜头的分类 7-2-2 镜头镜头 视频信号视频信号 v视频信号视频信号是机器视觉系统的关键，关系到摄像机和采集卡的配是机器视觉系统的关键，关系到摄像机和采集卡的配合、视频系统的设计和调试等合、视频系统的设计和调试等v分为分为黑黑/白和彩色白和彩色两大类，又分为两大类，又分为模拟和数字模拟和数字视频模拟视频分视频模拟视频分为标准和非标准视频，数字视频包含多种数字格式为标准和非标准视频，数字视频包含多种数字格式v标准视频信号的周期、时间间隔、幅度等有明确规定，又称为标准视频信号的周期、时间间隔、幅度等有明确规定，又称为闭路电视闭路电视CCTV（（Closed Circuit Television）v非标准视频信号多用于工业、医学、仪器等领域的视觉系统非标准视频信号多用于工业、医学、仪器等领域的视觉系统黑黑/白白彩色彩色使用地区使用地区RS-170NTSC北美、日本、台湾等北美、日本、台湾等CCIRPAL欧洲、中国等欧洲、中国等7-2-3 视频视频 v 信号扫描方式：逐行扫描和隔行扫描 §隔行扫描隔行扫描视频信号视频信号 隔行的帧图像和奇偶场图像之间的关系隔行的帧图像和奇偶场图像之间的关系7-2-3 视频视频 图像采集图像采集 v 图像采集卡图像采集卡（（Image Grabber）又称为图像卡，将传感器）又称为图像卡，将传感器输出的图像视频信号输出的图像视频信号以帧为单位以帧为单位传送到计算机进行处理、传送到计算机进行处理、存储或显示。

存储或显示7-2-3 视频视频 7-2-4 图像处理技术图像处理技术滤波技术滤波技术图像增强图像增强边缘检测边缘检测特征提取特征提取图像压缩图像压缩图像编码图像编码……7-3 视觉检测应用视觉检测应用二、模式识别技术二、模式识别技术五、缺陷检测技术五、缺陷检测技术一、尺寸测量技术一、尺寸测量技术六、图像融合技术六、图像融合技术四、三维重构技术四、三维重构技术三、目标检测与跟踪技术三、目标检测与跟踪技术7-3-1 尺寸测量技术尺寸测量技术长度长度面积面积圆圆线弧线弧角度角度…测量对象测量对象最小二乘最小二乘Hough变换变换区域标记区域标记轮廓矢量轮廓矢量曲率识别曲率识别Harris角点角点…测量方法测量方法7-3-1 尺寸测量技术尺寸测量技术v 长度测量长度测量——齿长测量齿长测量1,在工件图中在工件图中设置待测设置待测齿长区域齿长区域；；2,对区域内的图像进行对区域内的图像进行边缘提取边缘提取；；3,对提取到的边缘进行对提取到的边缘进行逐行扫描逐行扫描，分别，分别获得其获得其上、下两条边的边缘点上、下两条边的边缘点；；4,根据得到的边缘点分根据得到的边缘点分别别拟合出上、下两条边拟合出上、下两条边的直线的直线；；5,计算两条直线间的距计算两条直线间的距离离作为齿长结果。

作为齿长结果 7-3-1 尺寸测量技术尺寸测量技术v 长度测量长度测量——线段测量线段测量 1.通过通过Harris角点法确定角角点法确定角点；点；2.通过轮廓提取法得到边缘；通过轮廓提取法得到边缘；3.结合轮廓信息对角点精确结合轮廓信息对角点精确定位；定位；4.计算线段长度计算线段长度 7-3-1 尺寸测量技术尺寸测量技术v 圆测量圆测量§单圆测量单圆测量：：最小二乘法、最小二乘法、Hough变换法和加速算法变换法和加速算法（首先通（首先通过圆面积测量求出圆半径）过圆面积测量求出圆半径）方法方法半径像素半径像素值误差差测量量时间最小二乘法最小二乘法68.50.48%30msHough变换法法68.90.18%18328ms改改进Hough变换法法68.90.18%531ms圆的拟合圆的拟合 7-3-1 尺寸测量技术尺寸测量技术v角度测量角度测量——根据前述方法得到每段直线段方程，根据斜根据前述方法得到每段直线段方程，根据斜率即可得到夹角率即可得到夹角 7-3-2 模式识别技术模式识别技术v指对图像中各种物理对象的指对图像中各种物理对象的分类与描述分类与描述技术，包括技术，包括字符识字符识别、条码识别、车牌识别、工件识别和医学图像识别等。

别、条码识别、车牌识别、工件识别和医学图像识别等v字符识别：字符识别：印刷体印刷体①①扫描描输入文本入文本图像；像； ②②图像的像的预处理，包括理，包括倾斜校正和斜校正和滤除干除干扰噪声等；噪声等； ③③图像版面的分析和理解；像版面的分析和理解； ④④图像的行切分和字切分；像的行切分和字切分； ⑤⑤基于基于单字字图像的特征像的特征选择和提取；和提取；⑥⑥基于基于单字字图像特征的模式分像特征的模式分类；；⑦⑦将被分将被分类的模式的模式赋予予识别结果 7-3-2 模式识别技术模式识别技术7-3-3 目标检测与跟踪技术目标检测与跟踪技术v目标跟踪技术目标跟踪技术——指对图像序列中的指对图像序列中的运动目标运动目标进行进行检测、检测、提取、识别和跟踪提取、识别和跟踪，获得运动目标的，获得运动目标的运动参数运动参数，如位置、，如位置、速度、加速度以及运动轨迹等，从而进行下一步的处理与速度、加速度以及运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的分析，实现对运动目标的行为理解行为理解 v主要应用主要应用：行人跟踪、车辆跟踪、智能交通和安全监控等；：行人跟踪、车辆跟踪、智能交通和安全监控等；v分类分类：静态背景下运动目标检测、动态背景下运动目标检：静态背景下运动目标检测、动态背景下运动目标检测；测；7-3-3 目标检测与跟踪技术目标检测与跟踪技术v静态背景下运动目标检测静态背景下运动目标检测：：§相邻帧间差分法相邻帧间差分法：取相邻两帧图像间灰度差异较大的区域：取相邻两帧图像间灰度差异较大的区域§背景差分法背景差分法：预先建立背景模型，需要经常更新背景。

常用：预先建立背景模型，需要经常更新背景常用的非回归型背景建模法包括的非回归型背景建模法包括中值滤波中值滤波和基于统计理论背景恢和基于统计理论背景恢复，常用的回归型背景建模法包括复，常用的回归型背景建模法包括近似中值滤波、卡尔曼滤近似中值滤波、卡尔曼滤波和混合高斯滤波波和混合高斯滤波 7-3-3 目标检测与跟踪技术目标检测与跟踪技术v检测实例检测实例 （（a））图像序列第像序列第187帧 （（b））187帧时的背景的背景图 （（c）差分）差分图像二像二值化化 （（d）腐）腐蚀运算运算结果果 （（e）膨）膨胀运算运算结果果 （（f）目）目标标定定结果果7-3-4 三维重构技术三维重构技术§接触式与非接触式三维测量接触式与非接触式三维测量（（a a）三坐标测量机）三坐标测量机 （（b b）机械测量臂）机械测量臂（（a a）物体）物体 （（b b）采集的图像）采集的图像 （（c c）重构结果）重构结果§接触式与非接触式三维测量接触式与非接触式三维测量7-3-4 三维重构技术三维重构技术7-3-4 三维重构技术三维重构技术§视觉三维重构方法分类视觉三维重构方法分类7-3-4 三维重构技术三维重构技术§视觉三维重构方法的应用视觉三维重构方法的应用1）星球三维形貌重构）星球三维形貌重构？？7-3-4 三维重构技术三维重构技术嫦娥二号探月嫦娥二号探月图片图片7-3-4 三维重构技术三维重构技术§视觉三维重构方法的应用视觉三维重构方法的应用2）工业自动化生产与产品检测）工业自动化生产与产品检测7-3-4 三维重构技术三维重构技术§视觉三维重构方法的应用视觉三维重构方法的应用3）人脸身份识别）人脸身份识别另外还包括：医学图像三维重构与分析、视觉另外还包括：医学图像三维重构与分析、视觉三维导航、无人驾驶等。

三维导航、无人驾驶等。