机车乘务员精神状态预警提醒装置研制及应用.docx

机车乘务员精神状态预警提醒装置研制及应用 潘东亮摘 要：针对机车乘务员精神状态对安全行车的重要性及当前乘务员精神状态监测技术存在的不足，立足科技创新，研发机车乘务员精神状态预警提醒装置装置由图像采集系统、图像预处理系统、识别系统和提示预警系统组成，实现了机车乘务员瞭望状态实时识别、间断瞭望分级报警、驾驶姿势提醒报警、图像采集器遮挡报警、机车0速度休眠、数据存储分析功能研发成功的机车乘务员精神状态预警提醒装置在包神铁路机车上投入使用后，作用明显，效果良好关键词：乘务员 精神状态 预警 装置：U298 ：A ：1674-098X（2019）07（c）-0107-03在国家能源集团运输板块中，包神铁路处于大型枢纽、编组站位置，是国家能源集团铁路运输的一个重要的货物出入口近几年来，由于生产方式和技术条件发生明显变化，包神铁路运量逐年攀增，装车站增多，机车乘务员劳动强度大，在操作过程中容易产生行车精神不振、瞭望精力不集中、甚至盹睡的行车精神状态不佳问题机车乘务员行车精神状态良好是列车运行安全的重要保障，一旦列车运行中机车乘务员行车精神状态不佳，没有及时发现异物人员侵限、设备异常等行车安全隐患并及时采取措施，轻则造成货物、设备损失，货运任务暂时中断，重者造成车毁人亡的恶性行车事故，甚至威胁到机车乘务员自身的生命安全。

在具体日常管理中，如何使机车乘务员始终保持良好的行车精神状态，防止出现视线偏离、精神不振甚至盹睡等间断瞭望问题，传统的做法主要依靠机车乘务员的自身素质及责任心和意志力，辅之以干部添乘检查的手段进行抽样监督检查，但干部添乘检查是一种抽样式的监督，不能做到全覆盖，实时监督检查，且成本较高国内外很多单位和个人都在积极研发针对乘务员疲劳驾驶的实时监测技术，第一种是根据大部分人疲劳时头部会经常向下倾斜的原理，申请了按照头部状态监测疲劳的《驾驶疲劳提醒装置》的实用新型专利该装置安装在乘务员座椅枕部，采用红外线传感器测量乘务员头部位置的变化，如果发生离开或偏移的情况，则及时启动报警但由于乘务员个体差异很大，一部分人在疲劳、瞌睡时头部状态不会变化，另外，宽松的帽子、头上饰物等都会影响监测结果，因此该技术具有很大的局限性第二种是腕表型疲劳预警系统（TWS汽车驾驶），通过紧贴手腕的传感器测量体温，脉搏的变化，判断人体的疲劳状态，发出声音、振动等刺激人体，达到提醒乘务员谨慎开车的目的该技术存在很多人为因素，如：佩戴的松紧程度，人体胖瘦，出汗以及体表温度等都会影响测量结果的准确性第三种是眼镜型疲劳监测装置，这种报警装置利用人困倦时眨眼一次的时间远远大于正常时的原理，通过眼镜内侧的红外线装置监测眨眼频率触发报警，提醒乘务员避免疲劳驾驶引发事故。

但该技术对于佩戴近视眼镜和习惯佩戴墨镜的乘务员使用时很不方便因此，针对上述情况，立足科技创新，采用非介入方式、无需乘务员佩戴任何传感器、不受乘务员个体差异和驾驶习惯的影响，可以实现乘务员在不同驾驶姿势、不同照明状况以及戴眼镜、墨镜等情况下的疲劳状态实时监测，并根据乘务员的疲劳程度进行语音警报提示，同时将报警时的图像进行存储，有效确保列车运行安全，为乘务员规范作业提供先进、可靠的技术手段，提高行车安全系数，保障包神铁路各车型机车行车的安全1 方案设计包神铁路机车乘务员精神状态预警提醒装置，旨在利用先进的视频图像處理技术，针对机车乘务员由于睡眠不足或长时间驾驶出现的疲劳状态，导致乘务员注意力不集中、判断能力下降、出现动作迟误、操作停顿、修正时间不当等不安全因素，在列车运行过程中实时监测乘务员的精神状态，且在乘务员精神状态不佳时，在限定的时间内发出提示报警信号，提醒驾驶员保持良好的精神状态，为行车安全提供新的科学技术手段1.1 原理以目前世界先进的人脸生物特征识别技术为基础，结合PERCLOS（眼睛闭合时间占某一特定时间的百分率）方法识别人眼状态，并融合人体姿态、运动特征，实现机车乘务员瞭望状态智能识别。

1.2 系统结构包神铁路机车乘务员精神状态预警提醒装置由图像采集系统、图像预处理系统、识别系统和提示预警系统组成，系统的基本结构如图1所示1）图像采集系统图像采集系统主要包括特制的摄像头和图像采集卡摄像头对驾驶员影像进行实时采集，并实现光电转换，将模拟信号传递给图像采集卡实现模数转换采集系统在复杂的照明环境下保证能够尽可能地降低外界各种光照的干扰，提供清晰的高质量图像为了减小日光对系统的干扰，设计了主动红外照明系统，有效地滤除其它频带光的干扰，而且摄像头带有自动增益控制电路，使得它可以提供亮度合适的视频图像流同时对摄像头的焦距进行了专门设计，使得摄像头视场内图像主要以司机的面部为主，同时又保证在司机正常动作时不至于偏离视场，这样可以有效减弱背景物的干扰，使得图像处理更加简单稳定，提高视频处理的速度2）图像预处理系统和识别系统由摄像头采集的视频流经过图像卡转换为数字信号后，经过DSP电路进行预处理，预处理的工作主要实现人面部和眼睛的图像定位分割，分割后的图像交给FPGA识别系统进行识别，如果识别为疲劳状态（系统疲劳状态判断标准有两个，一个是眼睛闭合或者明显缩小的持续时间超过阈值时间，第二个是面部姿势不正常时间超过阈值时间），则触发报警系统报警，否则提供反馈信号给DSP图像预处理系统，进行下一帧处理。

装置中的摄像头经过了专门设计，能有效滤除外界光的干扰和背景干扰，使图像预处理工作更加简单和稳定，识别更加可靠由于使用了主动红外照明系统，人眼虹膜反射特征非常明显，使得系统对眼球的判断非常准确，判断通过三种方法协同进行：（1）对定位的眼睛进行轮廓提取，根据几何特征判断是否为眼睛;（2）将人眼图像输入已经训练好的人工神经网络判断器进行判断;（3）通过眼睛虹膜反射特征进行判断判断完成后，设计了一个计数器对判断为疲劳状态的眼睛图像帧进行计数，如果单位时间内这种帧数超过某一特定阈值，就要报警，否则进行下一帧处理疲劳状态表现在面部变化情况：当乘务员低头、转头时，检测到的人脸范围会比正常情况下小，启动脸部监测计时器，当单位时间内处理帧数超过设定的阈值时，进行报警，否则进行下一帧处理（见图2）3）提示预警系统乘务员状态采用三级疲劳报警，报警信息传送至中央处理平台，由中央处理平台根据报警级别发出不同的警示声音2 功能实现包神铁路机车乘务员精神状态预警提醒装置实现了以下功能1）瞭望状态实时识别采用智能图像处理方法，实现机车乘务员精神状态智能识别系统能够全天候实时监测乘务员的瞭望状态，当监测到乘务员有视野偏离、精神不振等间断瞭望现象时，立即实时分级语音报警，提醒乘务员，使之保持专注瞭望，间断瞭望现象消除后语音报警随即结束。

2）间断瞭望分级报警采用三级报警提醒机制，按照被监测乘务员间断瞭望，盹睡的持续时间分三级报警提醒机制，发出语音报警一级报警：间断瞭望持续10s;二级报警：间断瞭望持续15s;三级报警： 间断瞭望持续20s;各级报警时间，可根据实际需求通过软件调整设置3）驾驶姿势提醒报警根据机车乘务员面部在图像采集器中的位置，判断机车乘务员驾驶过程中的值乘姿势，当乘务员坐姿不正，面部持续60s不在正确位置时，发出提醒语音4）图像采集器遮挡报警根据图像采集器采集到的视频画面，分析图像采集器是否遮挡，当图像采集器被恶意或意外遮挡持续600s时，发出语音报警5）数据存储分析功能全程监测乘务员瞭望状态，当机车乘务员出现间断瞭望现象触发语音报警时，系统自动形成数据记录存储在内在存储器中通过系统的地面分析软件，自动生成退勤凭证和统计报表，管理者可分权限对重点事件、重点区域、重点人员的瞭望状态进行检索和分析，针对问题采取管理措施，为安全风险管理提供重要的技术支撑6）机车0速度休眠在机车运行速度等于0km/h时，装置自动终止检测，进入待机模式当机车运行速度大于0km/h时，装置自动启动进入检测模式3 研制创新3.1 理论创新（1）使用红外窄带非可见主动照明光源照明，减弱外界光的干扰，可以全天候获得亮度稳定的视频流图像，同时可以获得较强的眼睛虹膜反射特征，极大简化了眼睛定位和识别过程，提高了识别的准确率，误判率小于1%，;由于墨镜主要阻断可见光波段，使用主动红外照明光源照明，对墨镜的通透率大于80%，可以有效减弱墨镜的干扰。

2）特定的摄像焦距，可以获得合适尺寸的视场，有效消除背景物干扰，提高后续图像处理的速度和稳定性3.2 应用创新本装置很好地解决了制约人员疲劳状态实时监测技术推广应用的三个难题1）车内环境照度变化大，如何实时获得准确、清晰的脸部特征;（2）无需事先进行图像注册，就可以准确定位面部和眼睛，实时地提取面部的各种动态参数并进行正确识别;（3）识别率不够精确找到了一种全新的解决机车乘务员行车精神和瞭望状态的独特的监测方法采用非可见光源，不会对机车乘务员造成任何不舒适的感觉，可全天候采集机车乘务员面部状态的视频流图像，应用非接触式监测方式更加人性化3.3 技术创新综合利用面部特征和眼睛识别，提高系统的可靠性;对是否眼睛以及眼睛状态的判断使用了三种并行判断方法（虹膜特征判断、几何特征判别、神经网络判别），有效地减小了误警率，预警率达到95%以上，对眼睛的定位率达到100%;使用帧间关联对眼睛进行定位，极大减少了系统运行的时间，采集和处理视频图像的速度达到了每秒15帧同时能够存储提醒时段的视频数据，具有机车乘务员间断瞭望图像的追溯分析功能3.4 工艺创新（1）圖像采集器采用整体屏蔽，很好地解决了抗干扰问题;镜头防护罩采用导电玻璃，解决了镜头端电磁屏蔽的难点;电缆屏蔽层与采集器外壳连接处采用双层压接，增加了连接的可靠性。

2）主机高电磁兼容，不会与其它设备互相影响防震设计，抗震功能较强上下机箱连接处采用铜箔镶嵌，解决了机箱接缝处电磁屏蔽问题所有信号引出线设置磁芯电感，电源设置了双重滤波，提高了整机抗干扰能力3.5 结构创新（1）采集器采用全屏蔽结构;（2）采集器旋转调节轴采用齿牙咬合结构;（3）主机散热采用机壳与发热元件紧配合的结构，使整个机箱起到散热效果采用全金属外壳，结构坚固简单;体积小、重量轻，安装和使用方便3.6 指标创新（1）装置自检：装置通电后即开始自检，时间20～30s;（2）瞭望监测：装置自检后自动进入监测、预警状态;（3）监测方式：15帧/S实时监测;（4）预警提示：当机车乘务员出现间断瞭望状态时，发出提示语音，如果机车乘务员没有恢复专注瞭望状态，则预警声就持续不停，预警声音强度大于100db;（5）预警取消：机车乘务员在得到提示，恢复正视运行方向，报警声自动取消;（6）识别率：>95%4 装置应用包神铁路乘务员精神状态预警提醒装置研发成功后，为包神铁路机务分公司DF4 型、DF12 型、GKD3型、SS4B 型、HXD1 型机车分别进行了装车，并在运用分析室全部电脑上安装了网络版地面分析软件，可对机车运行过程中乘务员精神状态预警提醒装置产生的数据进行分析，提高了分析效率。

自2018年2月8日—2018年5月8日运用期间，装置累计报警提醒次数264次其中一级提醒130次，二级提醒31次，三级提醒18次，驾驶姿势提醒85次，遮挡报警提醒0次自2018年5月8日至2018年8月8日运用期间，装置累计报警提醒次数178次其中一级提醒87次，二級提醒23次，三级提醒11次，驾驶姿势提醒57次，遮挡报警提醒0次（见。