图像处理与理解-东南大学-ppt幻灯片

图 像 处 理 与 理 解,人类通过眼、耳、鼻、舌、身接受信息，感知世界。 约有75%的信息是通过视觉系统获取的。 数字图象处理是用数字计算机处理所获取视觉信息的技术。,第一章 绪论,一、数字图像处理的发展概况及应用 发展： 上世纪20年代 Bartlane电缆图片传输系统（纽约和伦敦之间海底电缆）传输一幅图片所需的时间由一周多减少到小于3个小时； 上世纪50年代，计算机的发展，数字图像处理才真正地引起人们的巨大兴趣； 1964年，数字图像处理有效地应用于美国喷气推进实验室（J.P.L）对“徘徊者七号”太空船发回的大批月球照片的处理；随后几年，继续用于空间研究计划；同时，在生物医学、工业生产、军事上得到应用；,直到上世纪六十年代末至七十年代初，由于离散数学理论的创立和完善，使之形成了比较完整的理论体系，成为一门新兴的学科。 二十世纪八十年代以来：数字图象处理向更高级的方向发展：实时性，智能化，普及化，网络化，低成本。 目前，就处理方法而言主要将小波、及模糊、神经网络、遗传算子、分形等智能信息处理技术运用于数字图像处理，使得其更具活力，并在不断地发展。,应用： 通信：图象传输，电视电话，HDTV等 宇宙探测：星体图片处理 遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图 生物医学： CT，NMR，X射线成象，B超，红外图象，显微图象,应用： 工业生产：产品质量检测，生产过程控制，CAD，CAM 交通运输 军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等 公安：现场照片，指纹，手迹，印章，人像等处理和鉴别 机器人视觉 娱乐： 电影特技，动画，广告等,气象云图 气象预报,遥感图像处理 在国土资源调查与环境评价及灾害监测中的应用,1998年长江洪水灾害遥感图像,超声图象,Photo courtesy Philips Research,医学图象,军事应用 目标跟踪,军事应用 隐形飞机、定位轰炸,军事应用,军事应用,计算机合成图像,计算机合成图像,以通过遥感图像处理分析为例，可涉及图像处理的主要技术,数据压缩和转换技术 通过数据压缩和数据转换技术的研究，减少数据载体空间，节省运算时间，实现不同星系遥感数据应用的一体化。,图像校正 在理想情况下，卫星图像上的像素值只依赖于进入传感器的辐射强度；而辐射强度又只与太阳照射到地面的辐射强度和地物的辐射特性（反射率和发射率）有关，使图像上灰度值的差异直接反映了地物目标光谱辐射特性的差异，从而区分地物目标。,而实际上，由于大气层的存在，也由于传感器内探测器性能的差异，使得进入传感器的辐射发生畸变，引起图形模糊，对比度下降等。另一方面，由于卫星飞行时姿态变化及地球形状等因素影响，图像中地物目标的几何位置也会发生畸变。为了使图像更好地满足使用要求，必须尽可能地通过处理消除畸变，恢复图像的本来面目。,分类方法 基于光谱信息（图像像素）的分类 根据像素在分类特征（波段）上的像素值，选择分类器，利用统计方法对每一像元进行分类。 通常需要对下面一些问题进行研究：分类器的确定；光谱类的确定；选择训练样本产生统计参数；分类特征的选择。,空间信息辅助分类 基于光谱信息的分类存在着一些缺陷：如有些地类在光谱上难以区分，如水库与河流。 基于空间信息的地类类型或形状分类。如城镇居民点图斑的分类结果往往是由水体、植被以及不同类型的建筑等所组成。,遥感图像中的空间信息包括两种类型： 纹理（texture）和相关（context） 纹理是指地类图斑中色调的空间变化特性； 而相关则是指不同地类像元之间的空间关系。,因此，用于分类的特征值除了像元所具有的光谱和空间特征值外，还具有形状和大小特征值。一些具有相同光谱特性而形状不同的地物，如河流和水库，公路和体育场，可以用形状指数来区分。,要用到的主要图像处理技术：图像增强处理、图像分割技术（区域、边缘提取）、图像特征提取、图像描述等。,自动目标识别技术 （Automatic Target Recognition简称ATR）,实时光学图像相关识别系统的核心技术是自动目标识别技术。由于ATR技术在军事上是导弹精确制导和武器防御系统的关键技术之一，是武器智能化程度的一个重要标准，也代表着一个国家的国防高科技的水平。,以军事应用为例 可能涉及图像处理的主要技术,因此，从20世纪60年代开始，美、英、俄、法等国家已投入大量人力、物力和财力开展ATR的理论研究和实际应用推广，并取得显著成果，美国在中东战争中的精确武器打击是最典型的成功范例。,当前精确制导武器所取得的成果还是有限的，最主要的问题是目前主要还是依靠人在导弹发射前发现目标，然后人工锁定首帧目标图像进行自动跟踪，而不能实现不需人工参与的由导弹自动识别目标，做不到“打了不管”。特别是在复杂背景下，机器如何像人一样自动识别目标，目前是相当困难的。,虽然从20世纪70年代开始人工智能、智能信息处理技术、计算机视觉的理论研究取得了重大的进展，但是由于ATR领域中研究的背景和对象的复杂性和多样性，特别是在实际环境中，背景与目标不仅有很大的动态变化范围，而且它们以未知的方式变化。目前的ATR的研究都是在一定假设条件下建立的，一旦这些假设条件不成立或不再完全成立时，其ATR系统就不再有效。,另外，目前国内外研究的很多ATR方法和算法，除了存在很大的局限性外，在实时实现方面还有很大的距离。因此，当前国外发达国家鉴于精确制导武器在未来战争中的重要地位，还在投入大量人力财力开展ATR研究，如美国国防部已将ATR技术列为二十一世纪的关键技术之一。,我国从二十世纪七十年代以来对ATR技术研究也投入较大的人力财力。国防科工委、航天部、电子工业部等很多研究所以及国内重点高校如国防科大、哈工大、北理工、华中科技大学、东南大学等都在开展此项研究，取得不少重要研究成果。但总的来看还是处于理论方法和算法的研究，所研制的ATR系统还处于实验室样机阶段，其性能还有待提高，离真正实战的要求还有较大的距离。,涉及图像处理的主要技术,图像分割：虽然国内外学者已提出很多种图像分割算法，但由于背景的多变性和复杂性，至今为止还没有一种能适用于各种背景的图像分割算法。当前提出的小波分析、模糊集、分形等新的智能信息处理方法有可能找到新的图像分割方法。 特征提取：计算描述目标的特征，如目标的几何形状特征、统计特征、矩特征、纹理特征等 图像识别：统计模式识别、模糊模式识别、人工神经网络等 图像跟踪,动态场景的视觉监控,动态场景的视觉监控是计算机视觉领域一个新兴的应用方向. 对于视觉监控系统而言，一般涉及到运动检测、运动目标分类、运动目标的跟踪以及监视场景中目标行为的理解与描述几个过程。,以安保系统应用为例,其中，运动检测、目标分类、人的跟踪属于视觉中的低级和中级处理部分(Low-level and Intermediate-level Vision)，而行为理解和描述则属于高级处理（High-level Vision）。运动检测、运动目标分类与跟踪是视觉监控中研究较多的三个问题，而行为理解与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和识别，并用自然语言等加以描述。,由于智能房间的门禁系统、军事安全基地的视觉监控系统、高级人机交互等应用需求，基于运动视觉的生物特征识别技术研究日益显得迫切和重要。例如，在人机交互中不仅需要机器能知道人是否存在、人的位置和行为，而且还需要利用特征识别技术来识别与其交流的人是谁。,人运动分析与生物特征识别相结合的视觉监控目前已经成为一个流行的研究方向，特别是非接触式远距离的身份识别研究基于运动视觉的第二代生物特征识别技术，近来倍受关注。,例如，美国高级研究项目署DARPA在2000年资助的重大项目HID计划（Human Identification at a Distance），它的任务就是开发多模式的监控技术以实现远距离情况下人的检测、分类和识别，从而增强国防、民用等场合免受恐怖袭击的保护能力。近距离时一般可通过跟踪人脸来加以身份识别；如果是远距离的监控，脸的特征可能被隐藏，或者分辨率太低不易识别，然而进入监控领域的人的步态是可见的，这激活了步态作为一个独特的生物行为特征应用于人的身份鉴别。,作为一种新的行为特征，步态还具有难于隐藏和伪装、易于捕捉等优点，而且它也是一定距离时唯一可感知的行为特征。步态识别旨在不考虑衣服、视角、背景等情况下根据人们走路的姿势进行人的身份识别。由于步态是一种时空变化的运动模式，因此它的处理数据量相对较大。当然，像其它生物特征一样，步态也受一些诸如醉酒、怀孕、关节受伤等物理因素的影响。尽管步态识别是一个相当新的研究领域，目前已涌现出一些尝试性的工作,马里兰大学、麻省理工学院等26家高校或公司参与了该项目的研究工作，其目前焦点在于脸像、步态或者特定行为的识别。,二、图像与数字图像 1、“图”与“像”的定义： “图”是物体透射或反射光的分布； “像”是人的视觉系统对图的接收在大脑中形成的印象或认识。 2、模拟图像的表示（物理图像，人眼能看到的图像）,当图像内容随时间变化时，为时变图像或运动图像。反之，为静止图像。,由于人眼的视野是有限的，因此图像在空间上是有界的，而且通常定义为矩形，即,图像函数在某一点的值常称为强度或灰度，与图像在这一点的亮度相对应，并用正实数表示，而且这个值的大小是有限的。,图像函数 是一个二元、有界、非负的连续函数。 上面讨论的人眼能够看到的图像称之为模拟图像，它的函数是连续的、可解析的，因而是可积的，有可逆的付里叶变换等。但是计算机无法接受模拟形式的图像。,3、数字图像的表示 一幅模拟图像经过采样和量化使其在空间上和数值上都离散化，形成一个数字点阵，通常采用等间隔采样和均匀量化。 像素 灰度级,图像分解成像素的方法根据平面设置有正方形阵列，正六角形阵列，正三角形阵列，其中正方形阵列最为常用。,对于一幅图像而言，从模拟图像中获取数字图像，则必须按下图所示的过程进行空间采样和量化。,采样(Sampling)是指将空间上或时间上连续的图象(模拟图象)变换成离散采样点(象素)集合的一种操作。 在实际的采样过程中，采样点间隔的选取是一个极其关键的问题。应满足采样定理。,量化 经过采样后，图象已被分解成在时间和空间上离散的象素，但这些象素，但这些象素值(浓淡值)仍然是连续量。量化则是指把这些连续的浓淡值变换成离散值(整数值)的过程。 图象的量化分为两类，一类是等间隔量化，另一类是非等间隔量化。,等间隔量化即将采样值的灰度范围进行等间隔分于象素灰度值在黑-白范围内均匀分布的图象，其量化误差可变得最小，故又称为均匀量化或线性量化。,非等间隔量化 (1)将小的灰度值的级别间隔细分，而将大的灰度值的级别间隔粗分的方法，如对数量化； (2)使用象素灰度值的概率密度函数，使输入灰度值和量化级的均方误差最小的方法，如Max量化； (3)在某一范围内的灰度值频繁产生，而其它范围灰度值几乎不产生的场合，采用在这一范围内进行细量化，而该范围之外进行粗量化。这种方法，其量化级数不变，又能降低量化误差，称锥形量化。,分辨率 640x480,分辨率不同的图象比较,分辨率 320x240,分辨率 160x120,分辨率 80x60,分辨率 640x480,分辨率 320x240,分辨率 160x120,分辨率 80x60,查视力=检测分辨率？,三、 数字图像处理 （1） 图像处理 （2） 图像识别 （3） 图像理解,四、 数字图像处理的特点： 处理信息量大； 占用的频带较宽（图像带宽5.6MHZ，语音仅4KHZ）； 像素不独立、相关性强； 三维景物的二维投影； 处理结果如果给人评价，受人的因素影响大。,五、 课程主要讨论内容 图像变换 图像压缩编码 图像增强和复原 图像分割 图像描述 图像识别 图像处理系统简介,教材： 夏良正,李久贤 数字图像处理(第2版), 东大出版社，2005年