基于YOLOv5的铁轨异物入侵检测.docx

    基于YOLOv5的铁轨异物入侵检测    蔡鑫楠，丁学文，3，张子怡，刘文艳，宋文文，董国军（1 天津职业技术师范大学 电子工程学院，天津 300222；2 天津市高速铁路无线通信企业重点实验室，天津 300350；3 天津云智通科技有限公司，天津 300350）0 引言近年来，人工智能浪潮方兴未艾，机器视觉［1］技术得到重视根据所执行任务的不同，机器视觉技术可分为目标检测和语义分割两大类在人工智能技术发展过程中，目标检测作为有关的基础研究环节，使得研究时常常见到的良好的深度学习网络结构也已逐渐受到了学术界的广泛关注目前研究可知，用于轨道异物的目标检测模型主要分为2 类一类是RCNN［2-3］系列，该系列目标检测又分为2 步：第一步是确定候选目标的位置，第二步是对候选目标进行分类和细化RCNN 网络模型检测实时性较低，而轨道异物检测对实时性要求较高另一类是单目标识别模型，主要包括YOLO［4］系列和SSD［5-6］系列该方法不需要识别候选区域，直接通过回归坐标确定目标类别的概率和位置只是已有研究指出，SSD 网络对于小目标和集中的异物检测效果欠佳，而轨道异物的种类也杂乱无章，大小目标兼存。

综上所述可知，基于RCNN 网络模型与基于SSD 网络模型都具有一定的局限性本文将基于YOLOv5 的深度学习算法模型应用于最优轨道异物入侵检测模型的设计，在保证精确度和实效性的前提下，可对轨道异物入侵进行更好的检测，并能起到及时预警的作用1 YOLOv5 算法原理YOLOv5 模型在2020 年6 月由Jocher［7］提出Jocher 在研究了YOLOv3 的基础上更新了YOLOv5，初版本的YOLOv5 非常迅速、性能高效且使用便捷尽管YOLOv5 并未在以往的YOLO 模型基础上提出更为新颖的模型体系或结构改进，但是YOLOv5 也仍然提高了目标检测方法的最新水平且本文采用的PyTorch 框架即为YOLOv5 引入的新型训练部署框架，这样也就使得自定义模型训练能够得到更高的时效性1.1 YOLOv5 的网络结构研究可知，YOLOv5 网络结构由3 个主要组件组成，对此可做分别表述如下1）Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络2）Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层3）output：对图像特征进行预测，生成边界框合并预测类别。

对于YOLOv5，无论是V5s、V5m、V5l、还是V5x的Backbone、Neck 和output 皆一致唯一的区别则在于模型的深度和宽度设置在coco 数据集的测试结果见图1［8］图1中，灰色折线为EfficientDet模型，其余4 种为YOLOv5 系列的不同网络模型由图1 可得，YOLOv5s 模型的精度小、模型小、易于移植，YOLOv5x 模型的精度高、模型大、较为臃肿本文选用的YOLOv5s 网络结构如图2 所示图1 YOLOv5 权重文件的测试Fig.1 Test of YOLOv5 weight file图2 YOLOv5s 结构示意图Fig.2 Schematic diagram of YOLOv5s structure1.2 YOLOv5 损失函数YOLOv5 代码选用IoU指标来评价目标框和预测框的位置损失，用nn.BCEWithLogitsLoss或FocalLoss来评价目标框和预测框的类损失和置信度损失YOLOv5 代码用宽高比选择对应真实框的预测框，且每一个真实框对应3 个预测框下面拟展开研究分述如下1）位置损失：YOLOv5 代码用IoU值评价预测框和真实框的位置损失，本文给出的CIoU［9］指标公式具体如下：这里，IoU为预测框和真实框的比值，叫并比。

v是衡量长宽比一致性的参数，也可以定义为：公式参数代表意义如图3 所示图3 公式参数Fig.3 Formula parameters（2）置信度损失与类损失YOLOv5 代码用nn.BCEWithLogitsLoss或FocalLoss［10］来评价目标框和预测框的类损失和置信度损失其中，nn.BCEWithLogitsLoss是指先对预测输出做sigmoid变换，接着求变换后的结果与真实值的二值交叉熵FocalLoss损失考虑的是：目标检测中正负样本严重不均衡的一种策略该损失函数的设计思想类似于boosting，降低容易分类的样本对损失函数的影响，注重较难分类的样本的训练FocalLoss通过提高难分类别的损失函数来实现，此处需用到的数学公式可写为：对于YOLO 系列针对大小目标检测的精度低问题，YOLOv5 算法使用了更加优越的特征提取网络，这就提升了检测的精确度与实效性2 YOLOv5 目标检测算法实现本文通过无人机拍摄与自制适用于评估轨道异物检测系统性能的数据集，对YOLOv5 算法模型进行训练，并通过所得数据源以及所用模型架构来评估选用模型的可靠性，进而验证本文设计算法的可行性。

2.1 数据集构建本文所需的轨道数据集在网络现有图片库中筛选得到9 714张，但带异物的轨道图片仅有411张，由于数据集较少，无法发挥深度学习的优势，导致后续机器识别准确率低，出现了识别失败或者识别错误的情况针对数据集的不足，本文通过图像处理方法，得到的与原图像略有异处的新图像如图4 所示再通过视频剪辑分帧方式与Photoshop 软件对图片进行拼接整合，得到新的图片加入到数据集当中，扩充至1 521张轨道异物训练数据集.图4 轨道图像样本处理Fig.4 Track images samples processing考虑到天气影响因子，本文整理出带有天气影响因子的轨道异物图片514张，总训练数据集扩充至2 035张，部分样本集展示如图5 所示图5 部分样本集展示Fig.5 Partial samples set display测试数据集则是通过无人机航拍得到，经过筛选清洗有872 张适用，包含轨道可能出现的各种异物以及异常天气下的轨道异物图2.2 数据集标注与数据集路径规划［11］本文采用的标注工具为labelimg，在labelimg 工具中找到需要识别的异物进行框选并输入需标注异物的名称，标注完成后会自动生成训练所需的xml文件，此文件中包含了轨道异物的位置信息与类别名称。

标注过程如图6 所示，标注完成后生成的xml 文件如图7 所示图6 标注过程Fig.6 Marking process图7 xml 文件Fig.7 xml file2.3 标签文件配置与转换由于数据集标注后生成的xml 文件不适用于YOLOv5 模型训练，所以通过Python 程序将目标信息的xml 文件转换为适用于YOLOv5 模型训练的目标信息txt 文件，同时转换过程中也会生成适用于YOLOv5 的train、test、val 和trainval 的4 个txt 文件转换所得txt 文件如图8 所示图8 txt 文件Fig.8 txt file2.4 模型训练模型训练均是在基于Pytorch 框架的YOLOv5模型上进行的，采用的是VGG16 网络，用于检测的预训练模型为精度最小的YOLOv5s，训练参数batch -size为16，迭代次数为300次，训练过程如图9 所示图9 数据集训练Fig.9 Dataset training模型训练过程中得到的可视化结果如图10 所示由图10 可知，数据集已对目标进行标记，可在规定情况下对复杂场景的小目标进行检测图10 数据集可视化结果Fig.10 Dataset visualization results2.5 算法有效性分析本文通过3 个指标对算法的有效性进行评估，分别是：准确率（precision，P）、召回率（recall，R）、平均精度（mean average precision，mAP）。

各指标的数学定义及运算公式可进行重点阐述如下1）准确率（Precision）找对的正类／所有找到的正类，其值可由如下公式计算求出：（2）召回率（Recall）找对的正类／所有本应该被找对的正类，其值可由如下公式计算求出：（3）平均精度（mAP）用来衡量识别精度，由所有类别AP值求均值得到，其值也可用绘制P -R曲线面积表示，并可由如下公式计算求出：在训练后，模型的Precision、Recall、mAP_0.5、mAP_0.5：0.95 结果如图11 所示，相应的最高值分别可达到0.998、0.994、0.996、0.925图11 模型性能评价指标Fig.11 Model performance evaluation indexYOLOv5 模型训练准确率和置信度参数评估如图12 所示图12 表明在模型训练过程中，开始时的epoch训练中精度提升明显，在验证集已取得不错的表现图12 YOLOv5 参数评估图Fig.12 YOLOv5 parameters evaluation diagram将训练好的模型与其他检测模型、如Faster RCNN 和YOLOv3 模型做对比，结果见表1由表1可以看出，YOLOv5 无论是从精度、还是召回率都好于其他2种，且YOLOv5 作为YOLO 系列最新的模型检测网络，可以较好地进行实时检测，符合轨道异物检测的要求，故选取YOLOv5 为本文检测模型。

表1 模型对比结果Tab.1 Comparison results of the model %2.6 实验结果基于机器训练结果，使用本文搜集的测试数据集进行评估测试，部分测试结果如图13 所示，根据每张图的类别概率判别，能够准确地进行分类，且有较高的识别率图13 YOLOv5 部分测试结果Fig.13 Partial test results of YOLOv53 结束语本文针对轨道异物入侵，结合机器视觉与深度学习网络模型，对轨道内部出现的异物进行识别，相较于人工检测提高了目标识别的精确度，同时也大大缩减了时间高性能的目标检测算法是防止异物入侵轨道的关键技术，也是实现轨道安全通行的强有力保障本文针对异物特征在识别准确率与模型运行时长上，选择了最适用于轨道异物识别的YOLOv5 算法模型，对目标识别的精确度有较大提升，对轨道异物识别所要求的实时性也有较好的效果研究成果对于轨道领域的异物检测有较好的借鉴价值但是在轨道中具有较多异物目标时，却也面对着容易对小目标及被遮挡异物出现漏检的情况，因此后续研究将在这方面做进一步的改善  -全文完-。