供电局基于立体视觉的三维安全警示系统项目工作总结报告书天智系统.doc

Comment [C1]: 应按上次 PPT 的时间 顺序报告工作安排及内容深圳供电局深圳供电局 基于立体视觉的三维安全警示系统项目基于立体视觉的三维安全警示系统项目工工作作总总结结报报告告书书深深圳圳 市市天天智智系系统统技技术术有有限限公公司司 二二○○一一年十一月一一年十一月 深圳深圳i目目 录录1项目背景、意义项目背景、意义...................................................................................................................................22研究工作内容研究工作内容.......................................................................................................................................23系统及设备技术指标要求系统及设备技术指标要求....................................................................................................................54项目设备配置项目设备配置.......................................................................................................................................65项目总结项目总结 ..............................................................................................................................................621项目背景、意义项目背景、意义随着人们生活水平的不断提高,人们对对电力的依赖性越来越强，用户对供电可靠性的要求也越来越高，因此变电站对电力设备的维护必须尽量减少停电时间和缩小停电范围。

由于对设备进行检修时其周围设备仍处在带电运行状态，当需使用到大型设备如吊车等对需设备进行检修更换时，目前只能通过肉眼观察判断的方式对其于带电设备是否保持了足够的安全距离，无法通过技术手段进行有效的监控，通过现场监护人员的视觉判断极易因其判断不准确导致误碰带电设备，导致人员设备停运和人员伤亡事故出现，影响电力安全生产计算机双目立体视觉是模仿人的眼睛系统而设计的一种立体视觉系统其主要是利用双目三角测量原理，通过在不同位置的摄像机对同一物体进行观察形成视差，通过摄像机的立体标定，获得摄像机的焦距和基线距，从而求得目标的深度及其位置信息已经在在机器人目标检测，障碍物定位，目标测量，三维重建等领域有着广泛的应用但单组双目摄像机对于物体探测深度只能探测到它面对于摄像机的一面的深度信息，而背对摄像机的物体另一面深度信息无法探知，在立体空间监控中，由于物体本身具有一定深度范围，单组双目摄像头无法满足要求此外单组摄像头在有物体在警戒区安全距离之外与摄像头之间运动造成部分遮挡时，无法完全探知警戒区内的物体，可能会无法及时报警由于电力系统空间作业较为特殊，非电力专业工程技术人员还未意识到该特殊应用的重要性，目前国内其它电力企业也未形成有效的技术手段解决存在的空间作业安全距离无法得到管控的问题。

能够划定周围带电设备安全距离为立体警戒空间，同时克服单组双目摄像机的缺点，完成安全警戒区内的施工设备进行有效实时监控警示的任务因此，该项目至少可以填补国内空白，为电力安全生产提供设备保障也为电力系统其他类似立体空间监视应用，提供基础2研究工作内容研究工作内容1、 设计了一种面向带电作业空间的三维安全警示软件系统2、 根据供电局实际情况，设计实现了双目视觉的硬件平台3、 该系统能够根据现场状况进行场景标定，设定危险区域和安全区域，并设定不同的警戒安全距离，根据多个终端的协同工作，进行现场作业的综合分析和处理，当空间距离不够安全距离时，启动不同的警报告警，提示相关人员认真操作，避免事故的发生 4、 申请一个实用新型专利”一个面向带电作业安全防护的三维立体空间距离监测告警系统” ，以及提交了核心论文两篇， “一种面向带电作业空间的三维安全警示系统”和“基于半全局匹配的三维带电空间警报系统” 5、 编写提交了产品使用说明书，产品维护标准，测试报告说明书等文档3其主要实现的业务模块有：1、 立体标定模块立体标定的目的是获取摄像机的内部参数，通过使用数学方法消除摄像机所成图像的径向和切向畸变，计算出左右摄像机的位置关系，输出航对准的校正图像，便于立体匹配模块进行立体匹配以便求取视差进而计算深度信息。

常用的对单目摄像机标定有很多种标定方法.具有代表性有 Roger Tsai 的基于径向约束的两步法，基于平面靶标的张正友方法其中前者首先利用最小二乘法解超定线方程，给出外部参数，再利用非线性优化方法获得全部参数，后者只需要摄像机在不同的方位中拍摄同一个平面靶标，假定在标定过程中摄像机的内部参数为常数，只有外部参数变化考虑到立体标定同时标定左右摄像机和计算相应的两摄像机间位置关系的需要，本系统中采用张征友的标定方法求取焦距和偏移利用Brown 的方法求取畸变参数单目标定的前提是获得参照物在左右摄像机成像平面的成像点，本文采用 Harris 角点及其亚像素角点获得靶标在成像平面的成像点图 1. 行对准图像立体标定的主要流程为：4左右摄像机同时读取棋盘格图像求取棋盘内的Harris角点获得亚像素级的Harris角 点,以保证精度利用张正友方法求取焦距和偏移基于Brown的方法求解畸变参数根据左右摄像机单目标定中 得到的每个棋盘格视图的旋 转和平移参数利用LM优化方 法求取右摄像机相对于左摄 像机的外部参数R和T利用Bouguet校正方法对左右摄像机的 图像进行校正映射得到行对准图像图 2 立体标定的主要流程图2、 立体匹配与深度计算模块立体匹配的目的是求取视差,以便于深度计算模块求取深度信息。

下图是一个完整的立体视觉系统中各部分的相互关系本文仅对三种常用立体匹配算法进行测试，分别为图割法（GC） ，半全局匹配算法(SGBM)和块匹配算法块匹配算法主要思想是先对图像进行预过滤操作和归一化操作，沿着水平极线即行对准后的图像的每一行用绝对误差累计（SAD）窗口进行匹配搜索，采用胜者通吃的原则即绝对累计误差最小的点对为匹配点对，完成视差求取半全局匹配算法是对视图中点采用多方向的动态规划算法，选取匹配代价最小的点对为匹配点动态规划的基本思想是采用最优原则来建立用于计算最优解的递归式，即此后的决策必须是基于当前状态（由上一次决策产生）的最优决策图割法是公认的立体匹配算法中的效果最好的立体匹配算法之一，是一种全局的匹配算法，但计算相当耗时5(a) (b)(c) (d) 图 3 立体匹配算法效果图图 3 中（a）是经过校正后的图像对的左图像，(b)是块匹配算法的效果图，(c)是半全局匹配算法的效果图(d)是图割法的匹配效果图从中可以看出图割法的效果最好但是图割法不是一种实时算法，它处理起来相当慢，无法达到供电局实施场地的实时处理的要求。

半全局匹配算法效果仅次于图割法，明显优于块匹配算法，且可以达到实时匹配的效果，综合上述考虑，三维安全警示系统采用半全局匹配算法作为系统的立体匹配算法深度计算模块采用立体匹配模块得到的视差值计算得到深度效果图3、 警戒区域划定模块三维安全警示系统将待施工设备和人员（图 4）限定于立体空间内，在至少两组双目摄像头放置于立体空间待监测平面外立体空间的确定是将待施工设备的周围的四个带电设备所在的支撑住作为立体空间的的面的边摄像头放置和待监测空间的示意图 4 如下所示图 4 双目摄像机位置示意誉警戒区域划定示意图6图 4 中双目摄像头 1 监测带电立体空间的（1） （2） （5） （3）面，双目摄像头 2 监测带电立体空间的（1） （3） （4） （5）面这样使用多组双目摄像机的放置于待监测立体空间面外的原因是双目摄像机探测到的物体深度是物体面对摄像机的一侧距离双目摄像机左相机投影中心的深度，而实际情况中物体具有一定的深度，背对双目摄像机的一面的深度无法探知另外就是放置多组双目摄像机可以提高系统的抗干扰性和鲁棒性当双目摄像机与监测平面间有物体遮挡时该组双目摄像机无法对立体空间进行有效监测，多组双目摄像机正好克服这些困难，可以保证对带电立体空间内的物体进行实时有效的监测。

4、 报警判断模块警戒平面的数学确定主要根据公式(1)建立面方程1）0AxByCzD 其中 A，B，C，D 为方程的系数根据我们划定的图像警戒区域的边的三个点空间坐标确定 一个平面 报警模块主要是将深度计算模块得到的物体的空间坐标与监测立体空间的带电平面进行实时比 较主要根据公式（2）计算点到面的距离2）000222AxByCzDd ABC 其中为通过深度计算模块得到的点的空间坐标000,,xyz系统根据空间中一点的空间坐标值到带电空间的各面的距离的情况进行判断当物体距离带电 平面的距离小于安全距离时，实时发出警报声，提醒相关人员注意施工安全3系统及设备技术指标要求系统及设备技术指标要求（1）系统的实施基本能够警示模拟施工过程中出现的 90%左右的违规事件，误报率不超过 10%； （2）系统能够分级报警，不同距离警报声音不同（3）系统检查到违规或危险事件，到触发报警事件小于 0.8 秒（4）在天气良好的情况下，5-6 米内空间图像测距准确度为 95%， 6 – 12 米内图像测距准确度90%,12 – 18 米空间图像测距准确度为 85%4项目设备配置项目设备配置序号序号品名品名单位单位数量数量1笔记本台172高清图像传感器台4 * 2 = 83图像传感器支撑架个44USB 线根4 * 2 = 85网线根56三维警示系统套47核心论文篇28专利篇19操作系统套110标定杆个45项目总结项目总结本项目开发出来的一种基于立体视觉技术的三维面向带电作业空间的三位安全警示系统。

该系统利用双目测距原理对带电空间内的施工设备和人员进行实时监控，通过与带电平面的距离的实时计算，判定是否报警，提醒相关人员注意施工安全该系统主要用于变电站设备施工环境中，可以在一定程度上有效提高变电站设备施工的安全系数，同时提高设备维修效率，具有很好的广阔的应用前景和社会经济价值。