学位论文—疲劳驾驶实时监测系统的研究与实现.doc

疲劳驾驶实时监测系统的研究与实现背景在智能化技术迅猛发展的今天，汽车驾驶也在朝着智能化、安全化的方向发展，对驾驶员疲劳状态的检测是汽车智能辅助驾驶的关键技术本课题主要实现驾驶员脸部状态的监测、跟踪及疲劳的判定，为安全驾驶车辆提供保障人脸是区别人的重要部分之一，在日常生活中，人类对人的识别主要是依靠人脸，通过人脸人们可以得到很多信息，如年龄、性别、情感等等通过识别人脸特征点，人类可以很轻松的判断一个人是否处于疲劳状态即使在不同角度、不同光照、不同远近、甚至人脸的部分被遮挡，如佩戴眼镜等条件下仍能对人脸做出正确迅速的识别据一般估计，人在一生中大概可以记住上千个人脸由于人脸在日常生活中的特殊作用，对人脸的研究一直是学者们研究的焦点，近年来，微电子技术的迅猛发展给人脸研究注入了新的活力，人们正试图摆脱计算机，将人脸识别引入到日益小型化的嵌入式系统中疲劳驾驶是造成交通事故的主要原因之一据美国国家高速公路交通安全部（NHTSA）报告，2000年美国国内仅由于驾驶员注意力不集中、疲劳、缺少睡眠等原因造成的死亡约有4700人驾驶员疲劳或困倦状态是1979～1994年间法国高速公路上30%交通事故的起因。

据我国公安部提供的资料显示，2002 年1月至11月全国道路运输行业共发生了一次死亡30人以下、10人以上的重大道路交通事故27起在这27 起重大交通事故中，有19起的直接或间接诱发因素是疲劳驾驶表1.1是近年来我国道路交通事故发生的统计数据表1.1 我国道路交通事故统计表　年份事故次数直接损失（亿元）死亡人数受伤人数10万人口死亡率200061697126.7838534187217.3200175491930.91059305464858.5200277313733.210938156211613.7200366750733.710437249417410.8200451788923.91070774808649.9200545025418.8987384699117.6由于超长时间驾驶、夜间驾驶、或缺少睡眠等原因，驾驶员在驾驶时会出现疲劳或困倦的状态驾驶员疲劳是生理疲劳和心理疲劳的混合因素造成的，一般包括以下特征：注意力不集中、睡意、打哈欠、反应慢、眼睛酸痛或疲劳、厌烦感、有要发怒的感觉、旋转方向盘的次数减少且角度变大、看不见路标、在车道内驾驶有困难，以及微睡眠等[4]图1.1描述了疲劳有可能导致错误的驾驶行为。

医学专家指出，疲劳不但会影响驾驶员的反应速度、判断和视觉，也会影响他的警觉性和对问题的处理能力特别是疲劳而产生的三分之二秒左右的“微睡眠”期增多，是交通事故发生的重要诱因[5]目前，大多数驾驶员对疲劳驾驶的潜在危害还缺乏认识，由于缺乏类似“血液酒精含量检测仪”之类的仪器对驾驶员疲劳状态进行检测，交通管理部门还无法认定司机是否存在疲劳驾驶交通事故发生后，现有的交通管理法规只是针对事故本身进行处罚，而对疲劳驾驶则缺乏相关的处罚措施图1.1　疲劳驾驶导致错误的驾驶行为如何有效监测驾驶员的疲劳状态，并在其出现睡意时给予警告或提醒其停车休息已成为众多研究者关注的研究方向对驾驶员疲劳程度检测的研究，属于智能交通领域，是智能辅助驾驶的一项关键技术作为主动预防交通事故的一项措施，应用驾驶员疲劳监测系统，可以在一定程度上减少交通事故的发生，减少交通事故带来的危害，使驾驶员驾驶和公众出行更安全，具有重要的社会意义和经济价值一般而言，对于驾驶员疲劳监测系统应满足以下基本要求：1、友好性，不侵入驾驶员的身体，不影响驾驶员的注意力，使驾驶员易于接受；2、实时性，交通工具一般有较高的行驶速度，监测系统必须快速检测出驾驶员的疲劳状态，并及时发出警告才可能避免交通事故发生；3、可靠性，具有高准确率和低虚警率的系统才能达到提高驾驶安全性的目的；4、鲁棒性，监测系统必须适应各种工作环境和条件，并具有全天候工作的性能。

国内外研究现状　疲劳检测方法的分类目前的研究学者对于驾驶员疲劳检测方法，大致分为以下三类：（1）基于驾驶员行为特征的检测方法：如眼皮的运动、头部运动、眼睛开闭、呼吸状况、凝视方向、手握方向盘用力的大小、旋转方向盘的角度变化等2）基于驾驶员生理参数的检测方法：如脑电图、心电图、肌肉活动情况等该类方法能较精确检测出驾驶员出现的睡意状态，但是驾驶员需要配戴有电极的头盔等设备，因此有接触、侵入式的不足3）基于交通工具行为特征的检测方法：如车速、车辆行驶的轨迹是否偏离车道等该种方法的优点是非接触，缺点是这些参数与交通状况及车辆的类型有关，难于制定一个统一的标准基于驾驶员行为特征的方法，尤其是检测眼睛状态，由于其检测直接、非侵入性、与驾驶员的生理参数的变化具有一致性、可接受性强等特点，是多数研究者广泛采用的方法国内外研究概况驾驶员疲劳检测技术作为智能交通系统(ITS)的智能安全辅助驾驶技术的一部分，国外发达国家对该项技术的研究非常重视，资助了一系列的研究课题，并开发出了应用的产品，建立了相应的技术标准随着研究的深入，驾驶员疲劳检测的方法有很大的发展，其中最有代表性的有基于生理信号的检测方法，基于身体反应的检测方法，基于操控行为的检测方法，基于汽车行为的检测方法，基于行驶条件的检测方法等，表1.2对这几种方法的准确性和实用性做了一个比较。

表1.2 疲劳检测技术检测技术　描述准确性实用性基于生理信号的检测方法主要检测脑电波、眨眼频率、心率、脉搏频率以及皮肤电压等变化好较差基于身体反应的检测方法主要检测驾驶员头部倾斜度、身体姿势的下垂度、眼睛闭合的频率、驾驶员掌控方向盘的力度等变化很好好基于操控行为的检测方法检测各种控制器（如：方向盘、加速器、刹车踏板、档位等）的变换好很好基于汽车行为的检测方法检测汽车本身的行为（如：速度、侧向加速度、偏行速率、侧向位移等）的变化好很好基于驾驶员反应的检测方法定时检查驾驶员的反应好很差基于行驶条件的检测方法检测行驶时间及行驶条件（如：白天或者晚上、行驶速度等）很差好（1）卡内基梅隆大学机器人研究所的Copilot系统Copilot系统采用PERCLOS衡量睁眼和闭眼状态PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)定义眼睛被眼皮遮挡的百分比，对眨眼的测量是根据超过80%的眼睛被遮挡超过特定的时间间隔Copilot系统的硬件设备如图1.2所示，它采用红外照明，根据眼睛对红外光反射在图像中的光点效应，以及视网膜对不同波长红外光的反射率不同，分别用两个CCD摄像机采集波长为850nm和900nm红外光照明的图像，同时获得两幅图像，根据这两幅图像的差图像，得到眼睛的位置，并分析眼球的大小，从而得到驾驶员的眼睛睁开程度，该方法可去除眼镜的影响。

图1.2　CMU-RI的Copilot系统（2）内华达大学(University of Nevada)计算机视觉和机器人实验室该实验室采用特殊的硬件设备，如图1.3，在连续的两帧图像中，分别用两种不同波长的红外光照明，根据连续的两帧图像，检测出眨眼、眼睛凝视方向和头部运动等与疲劳相关的线索，最后用动态贝叶斯网络(DBN)融合这些线索并做出决策图1.3 采用的特殊红外光源结构示意图（3）Awake项目Awake项目采用多线索融合的方法，包括在红外照明下检测眼皮的状态，检测手握方向盘用力的变化，以及旋转方向盘的角度变化等线索当检测出驾驶员疲劳时，可通过安装在座位上的振动装置提示驾驶员该系统选用重型卡车、城市车等多种实验平台，图1.4为Awake项目的重型卡车实验平台图1.4　Awake项目的重型卡车实验平台（4）Mitsubishi公司的ASV2图1.5为Mitsubishi公司的先进安全车ASV2的内部情况其中方向盘前方是监测驾驶员疲劳状态的摄像机，通过红外照明的摄像机监视眼睛的状态，在驾驶员出现疲劳状态时，通过声音和文字显示等方法提示驾驶员图2.5　Mitsubishi的ASV2先进安全车内部设备图国内对于驾驶员疲劳驾驶造成的交通事故的严重危害已经有所关注，但对于检测驾驶员疲劳的研究还相对较少。

目前国内在驾驶员疲劳检测方面的研究有：1、郭克友等将驾驶员眼部状态分为精神饱满、精神萎靡、打瞌睡三类，用基于Gabor小波的驾驶员眼睑特征来分析驾驶员的疲劳状态2、周玉彬等采用头戴式摄像机采集驾驶员眼部图像来分析其眨眼状态，采用头戴式摄像机使眼睛区域容易从图像中分割出来，但由于接触式、侵入式的缺点使其应用受到限制3、王铁生等采用PC机搭配CCD的方案实时采集驾驶员正面图像并分析其疲劳状态，已经具有了非接触式、友好性等特点，但PC机的体积和电源等因素限制了其仍然不能作为车载疲劳监测系统4、吉林大学王荣本等用基于视觉的方法,通过检测眼睛的开合状态来检测疲劳, 出发点与明尼苏达大学(美)Papaniko lopoulos的方法一致,但是与二者不同的是, 对眼睛的跟踪与眼睛开、合识别方法上, Papaniko lopoulos用模板匹配的方法, 而王荣本等提出了用BP网络对眼睛开、合状态进行分类, 分类准确率达85%5．合肥工业大学在分析了已有的疲劳检测算法的基础上，针对基于驾驶员疲劳检测的难点及DSP芯片的特点，研究检测驾驶员脸部与脸部特征点的算法根据驾驶员眨眼频率和持续驾驶时间等疲劳数据，检测疲劳状态，系统在判断驾驶员有睡意时给予报警提示。

课题工作的难点及重点基于视频分析的方法，由于非接触、非侵入、易于使驾驶员接受、检测方法直接、安装灵活方便等优点而得到研究者的关注国内外大部分研究者都采用了基于视频的检测方法或将视觉线索作为检测的一个重要方面研究基于视频分析的方法主要需要解决以下问题：（1）光线影响由于天气的变化，不同时刻光线的变化以及道路两边树木或建筑物的阴影等的影响，会使采集到的驾驶员面部图像出现光照明暗变化，光照不均匀、强阴影、强光照等，从而影响到检测效果2）背景变化由于交通工具的运动，使采集的驾驶员视频图像处于动态背景中变化的背景使得诸如背景减法、帧差法等算法不再适用于本系统，给驾驶员图像分割带来了一定的困难3）疲劳检测算法由于道路状况、交通工具的运动给采集原始图像的稳定性带来了困难，可能会造成图像模糊，给判断疲劳带来一定的困难同时，由于驾驶员本身头部运动也给疲劳检测带来了一定的困难4）实时性疲劳监测系统本身应该满足实时性的要求才能在驾驶员出现疲劳时及时发出警报，从而达到避免交通事故的目的5）准确性 疲劳监测系统需要具有高检测率和低虚警率的特点才能满足实际应用的要求系统框架2.1 系统基本结构本系统中，疲劳监测的基本框架如图2.1所示：图2.1　疲劳监测系统整体框图系统主要由图像采集、图像处理和图像输出模块构成。

基本的工作原理是：先由CCD采集连续的模拟信号，并经过图像采集模块中的A/D转换，变成数字图像信号，然后再由图像处理模块对数字图像信号进行运算处理，主要包括图像的预处理、图像分割、人脸特征提取、识别等算法的实现，并通过输出模块显示结果及报警等本文主要是研究在DSP上实现的工作2.2 硬件结构疲劳监测系统的硬件设备由三块电路板组成：CCD摄像头板，DSP系统板，音视频压缩板CCD摄像头板带1/3寸CCD，输出标准视频。