第五章+目标自动识别-4.ppt

图像探测、跟踪与识别技术 主讲人：赵丹培 宇航学院图像处理中心 zhaodanpei@ ：82339972 2010年11月22日,第五章 成像自动目标识别技术,学习目的 自然场景和复杂条件下的自动目标识别是光电子、智能控制、地球与空间科学、人工智能、模式识别、计算机视觉、脑科学等多学科十分关注的交叉学科前沿，通过对识别算法的学习，了解一个ATR系统的基本工作原理和识别过程，从而能够设计并实现一个简单的成像目标自动识别系统 学习的重点 自动目标识别的基本过程； 特征提取与分类器的设计； 几种典型的目标识别算法 本章的主要内容,5.1 自动目标识别技术概述 5.2 成像目标识别的基本过程 5.3 目标的建模与表达 5.4 目标分类与识别的基本原理 5.5 几种典型的目标识别算法,5.1 自动目标识别技术概述,目标识别算法源于统计模式识别，统计决策和估计理论是这类算法的基础 目标特征和参考目标模式特征的获取过程会引入噪声和不确定因素，因此需要将统计方法和决策理论应用到目标识别算法中即统计分类器 识别问题的内涵 成像自动目标识别本质是一个逆问题求解，即从客观场景的表象-图像或图像序列逆向推导客观场景的某些本质信息的反演问题。

它可以分为四个层次：①检测-仅仅给出潜在的待识别目标，但还没有确认，还存在虚警的可能；②识别-确认了目标所属类型；③定量信息的提取-目标的位置、运动特性、目标的结构等；④理解-目标行为及场景语义的解释等1、ATR： Automatic Target Recognition,什么是目标自动识别技术？ 自然场景和复杂背景条件下的自动目标识别（ATR）是研究利用各种传感器（声、光、电、磁等），特别是成像传感器，如可见光、红外线、合成孔径雷达、逆合成孔径雷达、激光雷达、多谱或超普传感器等，从客观世界中获取目标/背景信号，并使用光/电子及计算机信息处理手段自动地分析场景，自动地检测、识别感兴趣的目标及获取目标各种定性、定量性质的科学技术领域2、自动目标识别系统的功能与应用,自动目标识别系统（ATR）是一种非常复杂的新型系统，融合了多种技术和子系统，具有部分或全部实现战场上对目标进行搜索、检测、识别、确认、精确定位和使敌军武器部件失效等过程的自动化潜能 在此类系统的发展中，有许多名称广泛地用于描述其预期功能和单元，例如：自动目标选择、自动目标确认、自动目标相关器、自动目标寻的器等 国防部ATR技术工作组定义ATR的功能： 为了实时或近实时地启动行动，或为外部系统操作员提供行动的选择方案等目的，由一个或多个传感器收集目标的图像数据，然后应用信号处理算法和软件、图像或信号处理硬件对目标图像进行分类、识别、确认、解释和显示。

3、自动目标识别的性能度量,目标识别水平的层次系统：目标检测、目标分类、目标识别、目标确认和目标描述 目标检测是从传感器数据中发现潜在目标的过程 目标分类是区分目标类别的过程例如：区分战舰和商船，履式车和轮式车、飞机和坦克等； 目标识别是在更高水平上区分同属某一类的不同物体 例如：对同属车辆目标的卡车、坦克和装甲车的区分能力，对同属舰船目标的航空母舰和驱逐舰的区分能力，对同是飞机目标的战斗机和轰炸机的区分能力； 确认和描述属于ATR目标辨别性能的较高层次 确认就是在整个目标类中将特定目标模型从其它相似类型中区分出来的过程例如：区分几种战斗机F17、F22、歼8、歼10等 目标特性描述就是对某特定目标已描述的物理特性进行明确区分的过程目标识别中学习方法的分类：,有监督学习方法：假设有一个可用的训练数据集，并通过挖掘先验已知信息来设计分类器，成为有监督学习方法 无监督学习方法：没有已知类别标签的训练数据可用，给定一组特征向量来揭示潜在的相似性，并将相似的特征向量进行聚类，称为无监督学习方法 半监督学习方法：利用少量带有已知类别标签的数据和大量无标签的数据，找到规律，完成聚类任务将标记过的数据作为约束条件，为聚类算法提供所需的先验知识。

聚类任务就是在同一聚集里强制分配某些点或排除被分配在同一聚集里的某些点5.3 目标的建模与表达,典型目标类型,取决于成像条件约束和目标内在性质，依据目标图像形态把目标分为以下四种类型： 点源和斑状目标 超远距离成像条件下，目标图像为亚像素或少像素，无形状信息，称之为点源或斑状目标，例如恒星、卫星、流星等； 线状和条带状目标 远距离成像条件下目标图像为延展性的互相连接的直线段、曲线或条带，其宽度为单个像素或少像素，与其长度不成比例可以想象为点源或斑状目标按某种运动规律在二维或三维空间勾画出的轨迹例如：桥梁、道路、运动的点源或斑点目标的投影轨迹等面状目标 二维平面目标，或其第三维与其它二维相比不成比例的三维目标，在一定条件下，可将其近似为二维目标，例如机场跑道、机场、高空俯瞰地面的目标 三维立体目标 在较近距离成像且可能从多个不同视点观测，立体目标的三维信息均能平衡充分地反映在其二维图像或图像序列中这些目标从不同的视点观察一般呈现不同的视图，由于这些视图是三维物体在不同视点平面上的投影，表现差异极大，从而能综合反应物体的三维特性例如，天空中的飞机、海面的舰船、建筑物目标表示方案,ATR算法中最常用的目标表示方案包括统计表示、句法表示、关系表示、投影几何表示、基于传感器物理模型的表示。

统计模型使用了许多特征来表示目标，这些特征包括抽象图像特征（如强度矩或边缘成分）和几何结构特征（如长宽比、形态矩） 句法模型则通过句法来表示目标，目标的各个部分被表示成属性树，属性树就描述了目标的特征例如坦克有炮塔、履带、炮管和引擎关系模型考虑目标中各个部分及其相互关系确定的规则，如各部分之间的方位、大致距离等 投影几何模型包括三维线框模型或小面化模型表示中目标各部分之间的明确关系 传感器物理模型利用了有关目标环境和传感域中现象的信息，以获得目标各部分期望观察的概率表示5.4 目标分类与识别的基本原理,目标分类与识别的内涵 目标分类与识别面临的困难和挑战 视点变化 光照改变 遮挡存在 尺度改变 姿态变形 背景混叠 类内变化明显 目标分类与识别设计的关键问题,5.4.3 分类与识别涉及的关键问题,根据研究对象的特征或属性，运用一定的分析算法认定它的类别，使分类尽可能符合事实 目标的分类涉及到以下问题： 特征提取 特征选择 分类器设计,一个分类系统的设计过程：,什么是特征？ 在目标识别中，特征提取是使用有效的数学工具减少目标模式表达的维数，这种低维表达，必须具有区别不同目标模式类别的特质，称之为特征。

模式的维数并非越大越好，存在一个最优维数使错误识别率最小，通过提取特征减少模式维数可达到提高正确识别率的目的 特征提取的目的： 识别分类器的复杂性和硬件实现的复杂性随着模式空间的维数快速增长，因此特征提取能够降低信息传输通道的容量1、特征提取,可体现类别特点的特征 特征对物体形变的稳定性 特征对光照变化的稳定性 特征抗噪声的能力 特征的复杂程度 特征是否易于描述,特征提取需要考虑的问题：,特征提取：对研究对象固有的、本质的重要特征或者属性进行检测提取 特征描述：将提取的特征进行量化，形成可度量的特征矢量、符号串、关系图，得到训练/待识别的样本有效的特征与特征描述举例：,统计特征（统计直方图、方差、均值、熵 ） 几何特征（包括面积、周长、位置、方向、距离 ） 边界特征（链码、傅立叶描述子） 形状描述（区域描述、图像矩 ） 灰度与颜色描述（梯度特征 、灰度直方图特征、梯度方向直方图、特征直方图、颜色直方图和颜色直方图距离、颜色不变量特征 ） 角点特征（Harris、Susan、Fast、Brisk） 变换特征（傅里叶、小波） 纹理特征（灰度共生矩阵 、LBP特征，结构相似性特征，Gabor特征） 局部不变特征描述子（ SIFT、SURF、 GLOH、WLD、 D-nets） …,⑵、边界特征,边界特征适用于识别外形轮廓有明显差别的两类 物体。

边界特征提取方法： 边界提取方法：Sobel, Canny,LoG… 分割方法：Graph-Cuts…. 边界特征描述 曲线拟合、Hough变换、Freeman链码,边界特征的特点,优点： 抗光照变化、颜色变化 运算速度快 适用于边界特征明显的物体识别 缺点: 易受背景影响 很难适应物体形变 特征描述较复杂,(3)、区域特征,区域分割,区域描述,颜色直方图 梯度直方图 欧拉数 面积等,基于目标灰度分布的区域矩,利用目标区域的灰度分布构造各阶矩来描述目标的灰度分布特性 各阶矩构造的一些函数式具有平移、旋转、尺度和缩放不变性，由此可以得到反映目标内在属性的一些仿射不变特征由于充分利用了目标区域内部的大量信息，所以更全面反映目标本源特征基于目标灰度分布的区域矩,对于定义在o-xy平面上的二维函数f(x,y)，它的p+q阶混合原点矩定义为 而其p+q阶混合中心矩定义为 是图像的灰度质心,区域几何特性,(1)区域面积 (2)区域周长 (3)形状简单度 (4)扁度 (5)凹度,(4)、变换特征,通过输入样本的线性变换来实现特征生成变换的最基本概念是把给定的测量集变换为新的特征集 如果变换方法选择合适，那么变换的特征与原始输入样本相比具有很高的信息压缩性能。

如Fourier变换，由于像素间的相关性，大部分能量位于低频部分，把低频能量的Fourier系数作为特征是合理的选择变换特征,离散Fourier变换特征 离散余弦变换特征 Gabor特征 小波变换特征,(5)、纹理特征分析,一个实际场景的图像中，各类型区域通常有自己的灰度分布特征，许多图像在较大的区域内灰度分布在宏观上呈现周期性或结构性，如砖墙、布匹、编织物、草地、森林、海洋以及一堆硬币等 这种灰度分布宏观上非严格意义下的规律成为图像纹理灰度共现矩阵法 对于方向性纹理的区域，取不同方向，灰度共现矩阵不同；对于纹理粗细不同，取不同的距离，灰度共现矩阵就不同 等灰度行程长度法 等灰度行程长度定义为在某个方向上、相邻的具有相同灰度或某个灰度范围的像素个数显然粗细纹理区域中长行程情况出现较多，细纹理区域中短行程出现较多，由此可以用一个矩阵表示在某个给定方向上各种行程出现的情况 统计模型法提取纹理特征 统计模型基本思想是用一个统计数学模型描述一致性纹理区域用于描述的模型主要有三种：单层马尔科夫随机场，双层高斯马尔可夫随机场，金字塔随机场序列典型的纹理分析方法：,2、 特征选择与提取,特征选择的基本任务是研究如何从众多特征中求出那些对识别最有效的特征，从而实现特征空间维数的压缩。

从模式样本的量测值中提取与选择最能反映类别属性的特征,主要方法包括： 最小误判概率准则、Fisher准则、判决边界、离 散K-L变换等根据应用需求选择合适的特征，不同应用对特征的需求不同为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类 为达到上述目的，关键是所提供的识别特征应具有很好的“可分性”，使分类器容易判别为此，需对特征进行选择我们要选择那些在特征向量空间中类间距离大而类内方差小的特征也就是说不同类别间的特征值距离较远，而同一类内的特征值紧密聚集 最后将采用不同的处理方法 应去掉模棱两可、不易判别的特征； 所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征 将特征综合考虑，对特征向量作线性或非线性变换，使其具有更好的辨别能力,选择最优特征需要具备三个条件： 样本数量能覆盖样本集的分类特征 有一种比较好的分类判据 一个切实可行的算法,特征抽取：,线性特征抽取： 主成分分析PCA、ICA、LPP、Fisher线性鉴别分析FLDA等 非线性特征抽取：核方法、流形学习 流形学习：ISOMAP、LLE、Laplacian Eigen。