基于视频深度学习的内河船舶显性违法行为识别研究.docx

          基于视频深度学习的内河船舶显性违法行为识别研究                    摘要: 当前内河水上执法主要依赖人工，存在效率低下等问题本文基于监控摄像头，采用深度学习视频分析方法，研究了对船名标志不清、未悬挂国旗、舱外作业未穿救生衣、未封舱四种违法行为的自动识别技术，主要采用了船体目标检测和跟踪、船名字符识别、深度卷积网络分类模型等几种算法；研究结果表明该技术方法具有可行性和较高的识别准确度，具有广阔的应用前景关键词: 内河船舶；显性违法行为；深度学习；视频分析中图法分类号:　　　文献标志码：Detection of Inland Ships’ Explicit Violations Based on Deep Learning Video Analysis NAME Name1, NAME Name2, NAME Name3（1．Department of ****, University, City ZipCode, China； 2．Department of ****, University, City ZipCode, China；3．Department of ****, University, City ZipCode, China）Abstract: Currently, law enforcement on inland waters mainly relies on manpower, which has problems such as low efficiency. Based on the surveillance camera, this manuscript uses the deep learning video analysis method to study the automatic identification technology of four illegal behaviors: unclear ship name, no national flag, no life jacket on outside operation, and unsealed cabin. The deep learning algorithms, such as object detection and tracking, optical character recognition for ship name and deep convolutional network classification models, are mainly used. Research results show that this method is feasible and presents high recognition accuracy, which lead to broad application prospects.Key words: Inland ships; Explicit violations; Deep learning; Video Analysis引言水运是现代化综合交通运输体系的重要组成部分，是“经济、安全、绿色、可靠”的交通运输方式。

目前，水上违法监管手段落后，多数违法监管采用人工观察、人工检测和粗略估计的方法，工作效率低，获取的数据误差大由于工作人员业务知识的欠缺，也造成了监管存在不同程度的疏漏现象；执法人员力量不足，难以适应水上行政执法的实际需要；执法模式过于传统，查处违法周期较长；部分违法取证困难，传统执法模式效果不佳根据最新的在航运输船舶封舱管理等要求，对于一些航行中的动态行为（如船员舱外作业未穿救生衣、未按照规章程序封舱等）传统的执法根本无法及时有效的取证，使得执法查处效果不佳当前监控摄像头的安装己经普及化，码头、港口、运河、桥梁等地点安装有大量摄像头如果仅靠人力来对这些摄像头获取的数据进行甄别，不但是一种效率较低的重复性劳动，而且对水路交通拥堵的改善、水路航运安全性的提高十分有限，缺乏对船舶关键违法行为的自动检测方法本文主要解决当前水上执法人工化的难题，采用视频分析方法，自动识别船舶船名遮挡不清、未悬挂国旗、舱外作业未穿救生衣、未封舱的违法行为[1]，提升水上执法的效率1 国内外已有研究1.1 深度学习深度学习是深度神经网络相关技术的统称，通过组合低层特征形成更加抽象的高层表示属性类别或特征，在计算机视觉、自然语言处理等领域取得了显著的成绩。

卷积神经网络是深度学习中的一种方法，已成功应用在手写字符识别、人脸识别及行人检测等计算机视觉相关任务中，在分类、目标检测、分割等领域取得了主导地位2012年Alex等人使用卷积神经网络AlexNet[2]在ImageNet测试数据上取得极大的提升，引发了深度卷积神经网络的研究热潮2015年何凯明[3]等人设计的Resnet采用残差连接结构改善了深层神经网络的梯度消失的问题，将神经网络的性能提升至新层次在目标检测方面，以YOLO[4]、SSD[5]为代表的一阶段检测器和以Faster R-CNN[6]等为代表的二阶检测器均取得了突破性的检测性能提升1.2 基于视频图像的船舶行为识别关于船舶的相关监控检测设备有卫星图像、雷达图像、红外图像、AIS以及视频监控等几种因内河船舶的视频监控已基本普及以及深度学习等相关计算机视觉技术的进步，对视频监控自动分析以提炼出有价值信息已经成为趋势赵亮[7]、宋娟娟[8]研究了使用深度卷积神经网络检测船舶目标并对船型分类王江[9]等使用视频分析的方法提取船舶的长度、宽度、流量信息刘宝龙[10]研究了使用字符识别方法提取船名朱学海[11]等使用机器视觉深度学习的方法自动检测船舶的吃水线。

2 内河船舶违法行为概述船舶违法查处的法律法规依据主要有《中华人民共和国航道法》、《中华人民共和国内河交通安全管理条例》、《中华人民共和国内河海事行政处罚规定》等，主要涉及交通安全和污染防治两方面，其中交通安全相关的违法行为主要有未标明船名船号、舱外作业未穿救生衣、超载运输、未悬挂国旗、违规拖带、违规追越、违规停泊、恶劣天气擅自开航等，污染防治相关的违法行为主要有未封舱、排放污染物、超标排废气等某些违法行为如排放污染物入水较为隐匿，当前未有及时准确的自动检测方法本文主要针对船名遮挡不清、未悬挂国旗、舱外作业未穿救生衣、未封舱四种显性违法行为进行自动检测研究3内河船舶显性违法行为识别方法3.1 总体架构本文将深度学习技术用于运河岸基监控摄像头视频分析，输入摄像头的视频流，输出对过往船舶的显性违法行为检测结果，具体的显性违法行为指船名标志不清、未悬挂国旗、舱外作业未穿救生衣、未封舱这四项本文首先使用深度目标检测模型检测出船体，并且使用基于检测的跟踪方法对船体进行跟踪考虑到内河船舶行驶相对缓慢的特点，本文对视频流进行跳帧分析，即以每秒2帧的频次分析，以降低对硬件计算性能的要求同时满足视频实时分析的需求。

对于每一帧的视频流图片，在检测并跟踪船体之后，裁切船体区域，船体区域图片将作为后续船名识别、未悬挂国旗、舱外作业未穿救生衣、未封舱检测的输入图片综上所述，本文总体检测流程如图3.1所示图3.1 系统总体检测流程3.2 船舶检测与跟踪本文使用YOLOv4[4]模型检测船体，YOLOv4算法是在原有YOLO目标检测架构的基础上，采用了近些年卷积神经网络、深度学习领域中最优秀的优化策略，从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面都有着不同程度的优化，因此其在实时目标检测算法中精度最高，实现了精度和速度的最佳平衡对船体目标检测的基础上，本文使用SORT（Simple Online and Realtime Tracking）[12]算法对船体进行跟踪船体跟踪属于多目标跟踪的领域，主要解决的问题是当前帧的检测目标与上一帧的已跟踪目标之间如何形成一一关联的关系SORT算法使用卡尔曼滤波方法对上一帧的已跟踪目标在当前帧的位置进行估计，将上一帧已跟踪目标在当前帧的估计位置与当前帧的检测船体位置使用匈牙利匹配算法逐一匹配匹配算法使用的相似度度量为IOU（Intersection Over Union），即船体矩形框位置的重合度，其计算方式如图3.2及式（1）。

图3.2 IOU计算示例(1)3.3 船名识别船名识别属于自然场景下的字符识别（OCR）问题，典型的字符识别技术路线如图3.3所示图3.3 典型字符识别技术路线其中OCR识别的关键路径在于文本区域检测和文本识别部分本文使用的OCR算法基于百度开源的PaddleOCR模型[13]，其文本区域检测使用DB（Differentiable Binarization）算法[14]，文本识别使用CRNN（Convolutional Recurrent Neural Network）[15]以及CTC（Connectionist Temporal Classification）算法[16]DB算法是一种基于分割的文本检测算法，提出一个可微的二值化模块，将二值化阈值加入训练中学习，可以获得更准确的检测边界，从而简化后处理流程之后，PaddleOCR使用 CRNN识别图像中的序列式对象，并与CTC损失配合使用，进行文字识别，可以直接从文本词级或行级的标注中学习，不需要详细的字符级的标注3.4 未悬挂国旗检测针对船舶是否悬挂国旗的检测，可以使用目标检测的方法，即将国旗作为需要检测的目标，使用YOLOv4等目标检测模型将国旗检出。

但是考虑到国旗在监控视频中一般是小目标，难以检出；且目标检测算法相对计算耗时较长，图片标注等准备工作耗时也更长因此，本文使用深度神经网络分类模型进行是否悬挂国旗的检测，即将船舶样本图片分为两类，悬挂国旗与未悬挂国旗，选用Resnet50[3]训练二分类模型3.5 舱外作业未穿救生衣检测与悬挂国旗检测类似，对于舱外作业未穿救生衣检测，本文也采用深度神经网络分类模型，因为深度神经网络分类模型是目标检测、实例分割等其他深度学习计算机视觉研究的基础，分类模型具有技术相对成熟、运算相对目标检测等更快的优点对于舱外作业未穿救生衣的检测，本文使用Resnet50模型将船舶图片分为三类，分别是舱外无人、舱外有人且穿了救生衣、舱外无人且未穿救生衣三类3.6 未封舱检测与悬挂国旗检测和舱外作业未穿救生衣检测类似，本文采用深度神经网络分类模型（Resnet50）进行船舶未封舱检测，按照实际船舶现状，模型分为船舶已封仓、船舶未封舱、船舶空载、不确定四种类别其中，“不确定”类别代表船体在视频区域只出现了船头或者船尾，未出现船舱部位，因此不能判断船舶是否封舱本文均采用交叉熵损失训练深度分类模型，具体的计算公式如式（2），其中 表示样本i预测为正类的概率， 为符号函数，当样本i为正类时取1，否则取0 。

2)4 实验结果与分析4.1 船舶检测与跟踪本文选取了无锡、镇江、苏州等地的内河船舶监控视频为研究对象，从中提取出图片样本使用LabelImg图片标注工具标注出船体，形成船体检测训练集13000张图片，验证集1400张图片使用Darknet框架实现YOLOv4建模和训练，在验证集上map(Mean Average Precision)达到94.2%图4.1展示了分别对于近景和远景的船体检测的结果结果表明该检测模型性能较佳，对船体跟踪形成有力的支撑图4.1 近景及远景的船体检测结果示例4.2 船名识别船名识别主要的挑战。