桥梁病害图像采集系统的设计与实现

    桥梁病害图像采集系统的设计与实现    王 超（辽宁省交通规划设计院有限责任公司技术研发中心，辽宁 沈阳）概述为了确保桥梁运营安全，预防重大桥梁交通事件的发生，需要做好对关键构件的检查及桥梁技术状况评定，发现问题并采取必要的措施，消除桥梁安全隐患。现阶段桥梁检查工作大多采用人工近距离目测的方式，存在效率低，漏检率高，存在安全隐患，自动化水平不高等问题。所以迫切需求一种新型而又高效的桥检方法设备1。随着计算机科学与硬件设备的发展，利用机器视觉领域的相关技术进行图像获取、图像识别已成为趋势，在土木工程行业，机器视觉也慢慢渗透。针对桥梁检查的需求，同时结合实际工作中面临的困难，将图像采集技术和图像识别技术应用在桥梁病害检测中，着眼于解决现阶段桥梁检查中存在的问题，研发一套基于图像识别的桥梁病害采集设备，通过设备采集桥梁表观病害，再开发配套的桥梁病害识别软件，完成桥梁病害的检测，提高桥梁病害检测效率。1 采集系统方案该系统由电源、操作终端、拍摄终端三部分组成。电源模块，内部集成1 个24 V 电池，为整个系统供电；操作终端，由1 台笔记本电脑组成；拍摄终端，由相机、激光测距模块、Camfi 模块、云台、脚架、控制箱组成。其中激光测距模块由1 个激光测距仪和4 个激光指示器组成；电源线，完成电池到拍摄终端的供电；无线通信Camfi 模块，由型号为SRWF-1021-50 的智能无线数据传输终端与操作终端相连同拍摄终端进行无线通信，完成供电、云台控制信号、快门信号、测距仪信号的传输。系统结构见图1。图1 采集系统集成2 采集图像的处理2.1 图像采集图片采集流程见图2。图2 图像采集流程进行图像采集时首先需要确定拍摄范围的大小，桥梁病害图像采集设备控制两轴云台进行上下和左右两个方向的转动，自动拍摄图像，在采集图像的同时，设备还会记录图像的距离信息和云台转动的角度等参数信息，用于病害的面积、长度、宽度等信息的计算。如果由于网络通信故障，导致拍摄失败或者未获取参数信息，设备还可以自动进行补拍等动作，拍摄结束后，云台自动归位，完成图像的采集。2.2 图像拼接桥梁病害图像采集设备完成图像采集后，需要对采集到的图像进行拼接，去除图像中的重叠区域，形成一幅完整的、视角更大的全景图，使图像能够更加全面、直观地显示桥梁情况。图像拼接首先要提取图像中的感兴趣区域，由于桥梁病害识别系统采集到的图像尺寸较大，寻找特征点时耗时久，为了提高拼接效率，尽可能多的获得重叠区域，在图像拼接时只对1000*3712 的感兴趣区域进行特征点提取。然后利用SURF 算法进行特征点提取，SURF 算法通过构建Hessian 矩阵来建立尺度空间2。根据SURF 特征点提取原理，对桥梁采集图像进行特征点提取，根据特征点提取结果进行特征点描述，对关键点附加详细的描述信息，为接下来特征点的匹配做准备。图像采集过程中由于光照、拍摄角度等因素的影响，相邻重叠区域中的同一个位置并不完全一样。需要通过特征点匹配来把两幅重合图像重叠区域提取出的特征点匹配起来。特征点匹配采用KnnMatch 算法，将待匹配图片的SURF 特征与目标图片中的全部SURF 特征进行一对n 的全量遍历，找出相似度最高的前2 个点。另外，匹配过程中还会因为图像遮挡等因素产生无匹配关系的问题，解决方法如下：比较最近邻距离与次近邻距离：取一幅图像中的一个SURF 关键点，在另一幅图像中找出欧式距离最近的前两个关键点并且最近的距离除以次近的距离得到的比率少于某个阈值T，就接受这一对匹配点。对于拼接效果并不自然的问题，则使用加权融合方法，重叠部分由前一幅图像慢慢过渡到第二幅图像，将重叠区域的像素值进行权值相加合成新图像。2.3 图像畸变矫正由于相机在拍摄时会偏转一定角度，这会使图像发生挤压、伸展、偏移和扭曲等变形，使图像的几何位置、尺寸、形状、方位等发生改变，需要对图像进行畸变矫正，把采集到的图像校正到正面拍摄的效果，消除畸变3。畸变矫正主要分为四个步骤：提取图中四个激光点中心坐标、计算校正后四个激光点中心坐标、透视变换得到校正图像、计算比例关系。（1）提取图中四个激光点中心坐标：系统采集图像像素大小为5568*3712，图像较大，处理起来耗时较长，本部分主要是获取四个激光点中心坐标，因此只提取激光点区域即可。激光指示器安装在相机上方，四个激光点原则上位于图像中心处，因此，基于对多幅图像的考量，以全部包含四个激光点为原则，提取中心处2000*2000 的感兴趣区域，激光指示器打到桥面上呈现出的是四个近似圆形的红色激光点，输入图像是一幅真彩图像，通常由B、G、R 三个通道组成，分别代表蓝色、绿色、红色，其中对于红色区域第三通道R 的值为255，利用图像的这一特性，本部分将第三通道值为255 的图像提取出来，并将红色区域置为白色，其他区域置为黑色。为了方便进一步的图像操作，采用中值滤波进行图像的平滑和消除孤立的噪声点，提高图像质量。物体形状的边界像素组合成轮廓，进而勾勒出了物体的整体形状。根据灰度图像边界两侧灰度级的突变的特征，检测四个激光点图像的边界，连续的边界像素组合在一起构成了四个激光点的轮廓，图像矩是通过对轮廓上所有点进行积分运算（或者认为是求和运算）而得到的一个粗略特征。利用轮廓矩可以分析矩计算四个激光点的重心坐标，由于相机拍摄图像时偏转一定的角度，激光点所呈现的图像并非标准圆形，因此，激光点重心坐标即代表激光点中心位置。（2）计算校正后4 个激光点中心坐标：相机采集图像示意见图3。图3 相机采集图像示意坐标系z 轴为镜头光心，由镜头向远处为z 轴正方向，x 轴为镜头右侧水平方向，向右为x 轴正方向，y轴为镜头垂直方向，垂直向上为y 轴正方向。在拍摄过程中，相机的运动过程为水平转动以及垂直转动，使CCD 平面（xoy 面）与被测平面（abc 面）在x 轴夹角为，在y 轴夹角为。相机水平、垂直各偏转一定角度，利用激光测距仪测距的示意见图4。图4 激光测距示意图4 中偏转角度 已知，os、ot 可通过激光测距获得。对于相机向左、向右各转动，即水平转动测距，根据图4 即可求得夹角：再利用同上述水平转动测距类似计算夹角，那么图4 中以c 点为中心，在平面内求点坐标c（0，0）、e（3）透视变换：透视变换的本质是将图像投影到一个新的视平面，其通用变换公式为：（u，v）为原始图像像素坐标，(x=x /w,y=y /w)为变换之后的图像像素坐标。透视变换矩阵图解如下：用于产生图像透视变换；T3=a31a32T表示图像平移，所以，已知变换对应的几个点就可以求取变换公式。根据第1、2 节提取的图像四个激光点中心坐标，以及计算出的校正后四个激光点中心坐标，可以求出透视变换矩阵。（4）计算比例关系根据上述计算的四个激光点中心坐标，分别计算激光点矩形的长与宽的像素距离和毫米距离，进而计算比例关系，即像素/毫米，完成了图像的畸变矫正。畸变矫正后的图像即转换成了正视图，利用该图像即可展开图像中病害识别和病害参数的测量工作。3 系统测试与验证为了验证桥梁病害图像采集系统是否到性能指标的要求，开展了系统的测试与验证工作。首先对设备的适用范围（拍摄角度）进行测试明确，通过对云台转角与仰俯角的测试，最终明确出桥梁病害图像采集系统拍摄角度范围在±30°（以相机垂直拍摄面为初始位置），也就是相机与拍摄面的夹角在±（60°90°）范围内，畸变校正成功，且相对误差基本保持在±10%以内。接下来，制作长度与宽度0.2 mm*170 mm、0.5 mm*100 mm、3 mm*140 mm、1 mm*130 mm、5 mm*150 mm 的模拟桥梁病害标定物，对标定物进行识别测量，选取物距4 m/6 m/8 m/10 m 对云台横向和纵向不同角度、不同长度和宽度类型模拟桥梁病害进行测试，测试实验表明，在10 m 距离时，采集系统对0.2 mm 宽裂缝长、宽相对误差基本能保持在±10%以内。系统测试结果表明，桥梁病害图像采集系统满足在10 m 距离范围内，采集0.2 mm 宽度的裂缝的要求。结束语针对桥梁检测的需求，同时结合实际工作中面临的困难，提出了一种基于图像识别的桥梁病害检测技术：将图像采集技术和图像识别技术应用在桥梁病害检测中，着眼于解决现阶段桥梁检测中存在的问题，研发一套基于图像识别的桥梁病害采集设备，进行桥梁图像的采集，然后将图像拼接，再通过透视畸变逆变换矩阵将图像转化为桥梁图像正视图，结合后续开发的图像识别算法及系统，完成了桥梁病害的自动化采集和识别工作，提升桥梁病害的检测效率。  -全文完-