模式识别与机器学习Pattern Recognition And Machine Learning(PPT-35).ppt

王文伟 Wang Wenwei, Dr.-Ing. Tel: 189-71562600 Email: wwwang@ Web: 模式识别概述第一章 模式识别概述2Table of Contents电子信息学院第一章 模式识别概述31.1 模式识别和模式的概念感知：从环境获取信息第一章 模式识别概述4计算机模式识别u模式识别：使计算机模仿人的感知能力，从 感知数据中提取信息（判别物体和行为）的 过程概念数据 获取模式 分割模式 识别姚明ROCKETS11第一章 模式识别概述5模式识别和模式的概念u人类具有很强的模式识别能力，时刻在完成某 种模式识别的任务u模式识别作为一门学科，是研究用机器完成自 动识别事物的工作 u模式识别学科形成于50~60年代，与众多学科 有联系，尤其与人工智能和图像处理关系密切 u模式识别是一门理论与应用并重的技术科学， 有广泛的需求u还在发展中，现有的理论与方法还有不足概念第一章 模式识别概述6模式识别和模式的概念uPattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)概念第一章 模式识别概述7模式识别的意义数字化感知数据：来源丰富、数量巨大概念第一章 模式识别概述8模式识别的难点感知数据：非结构化（像素、波纹等）概念第一章 模式识别概述9模式与模式类u样本(sample, object, instance)：一类事物的一个具体体现 ，对具体的个别事物进行观测所得到的某种形式的信号 。

u模式类(pattern class)：表示一类事物，如印刷体A与手写 体A属同一类B与A则属于不同类u样本是具体的事物，而模式类是对同一类事物概念性的 概括u有些context中，模式类与模式联合使用时，模式表示具 体的事物，而模式类则是对这一类事物的概念性描述u模式识别是从样本到类别的映射概念第一章 模式识别概述10模式识别和模式的概念uWatanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” Ø a fingerprint image Ø a handwritten cursive word Ø a human face Ø a speech signal Ø ……（a）（b）（c）（c）（d）（d）概念第一章 模式识别概述11模式识别和模式的概念u识别是时时刻刻发生的活动u识别（Recognition）— 再认知（Re-Cognition）u模式识别主要研究相似和分类问题，分类方式包括 ： Ø有监督分类：supervised classification Ø无监督分类：unsupervised classificationu与其他学科的关系 Ø统计学 Ø人工智能 Ø机器学习 Ø运筹学与最优化概念模式识别与其他学科的关系概念第一章 模式识别概述13模式识别学科位置u模式识别：计算机科学与电子工程交叉学科u中国：一级学科：控制科学与工程，计算机科学与 技术，信息与通信工程，电子技术与科学u“控制科学与工程”一级学科Ø二级学科：控制理论与控制工程、模式识别与智能 系统、系统工程等u西方：没有自动控制系 Ø自动控制：电子工程系、机械工程系 Ø模式识别：电子工程系、计算机科学系第一章 模式识别概述14主要组织u国际组织 ØIAPR ØIEEE Computer Society: TC on PAMI (Pattern Analysis and Machine Intelligence)u国内组织 Ø中国自动化学会：模式识别与机器智能(PRMI)专 业委员会，1981年成立，IAPR成员组织 Ø中国计算机学会：人工智能与模式识别专业委员 会 Ø中国人工智能学会第一章 模式识别概述15主要机构u国外 ØUSA: MIT (Poggio), UIUC (Thomas Huang), CMU (T. Kanade), MSU (A.K. Jain), Maryland (Resenfeld, Chellappa) ØCanada: Toronto (Hinton), Concordia (C.Y. Suen) ØUK: Surrey (Kittler), MSR Cambridge (Bishop) ØFrance: INRIAu国内 ØMSRA, HKUSTØ中科院自动化所、清华大学、北京大学、上海交大、西 安交大、南京理工大学、武汉大学等第一章 模式识别概述161.2 （统计）模式识别系统数据获取预处理特征提取 与选择分类决策分类器 设计信号空间特征空间第一章 模式识别概述17模式识别系统的组成系统第一章 模式识别概述18模式识别系统的密集计算特性u模式识别系统的各子系统(预处理，特征提取与选 择，分类决策)都具有典型的计算密集型特征。

u模式识别系统设计阶段一般需从样本学习规则， 需要大量的统计计算u课程实验选用Matlab系统系统第一章 模式识别概述19模式识别研究内容u数据预处理 Ø视频、图像、语音信号处理u模式分割 Ø模式/背景分离、模式-模式分离u模式描述与分类 Ø特征提取/选择、模式分类、聚类、机器学习u运动分析 Ø目标跟踪、运动模式描述u模式识别应用研究 Ø针对具体应用的方法与系统系统第一章 模式识别概述201.3 模式识别的方法u模版匹配法(templete matching)u统计方法(statistical pattern recognition) ： 1950s-u神经网络方法(neural network)： 1980s-u结构方法(句法方法)： 1970s- (structural pattern recognition )u支持向量机、核方法：1990s-u多分类器、集成学习：1990s-uBayes学习：1990s-u1990s-: 模式识别技术大规模应用第一章 模式识别概述21模版匹配u首先对每个类别建立一个或多个模版u输入样本和数据库中每个类别的模版进行比 较，例如：计算相关或距离u根据相似性（相关性或距离）大小进行类别 的决策u优点：直接、简单u缺点：适应性差u扩展：弹性模版法方法第一章 模式识别概述22统计方法u根据大量训练样本，建立决策边界 (decision boundary) ，划分区域 Ø统计决策理论——根据每一类样本总体的 概率分布推导决策边界和决策域 Ø判别式分析方法——给出带参数的决策表 达式，根据某种准则，由训练样本决定“最 优”的参数u本课程的重点内容方法第一章 模式识别概述23句法方法u许多复杂的模式可以分解为简单的子模式， 这些子模式组成所谓 “基元”u每个模式都可以由基元根据一定的关系来组 成u基元可以认为是语言中的词语，每个模式都 可以认为是一个句子，关系可以认为是语法u模式的相似性由句子的相似性来决定u1970s由傅京荪(K.S. Fu, Purdue Univ.)提出u优点：适合结构性强的模式u缺点：抗噪声能力差，计算复杂度高方法第一章 模式识别概述24神经网络u进行大规模并行计算的数学模型u具有学习、推广、自适应、容错、分布表达 和并行计算的能力u优点：可以有效的解决一些复杂的非线性问 题u缺点：缺少有效的学习理论方法第一章 模式识别概述25几种方法比较方法方法表达表达识别函数识别函数评价准则评价准则模版匹配模版匹配样本，像样本，像 元，曲线元，曲线相关，距相关，距 离度量离度量分类错误分类错误统计方法统计方法特征向量特征向量决策函数决策函数分类错误分类错误句法方法句法方法基元基元规则，语规则，语 法法接受错误接受错误神经网络神经网络样本，像样本，像 元，特征元，特征网络函数网络函数均值方差均值方差 错误错误方法第一章 模式识别概述26神经网络和统计模式识别的关系统计模式识别统计模式识别人工神经网络人工神经网络 线性决策函数线性决策函数感知机感知机 PCAPCA自相关网络，自相关网络，PCAPCA网网 络络 后验概率估计后验概率估计多层感知机多层感知机非线性决策分析非线性决策分析多层感知机多层感知机 ParzenParzen窗密度估计窗密度估计 分类器分类器径向基函数网络径向基函数网络K K近邻近邻LVQLVQ方法第一章 模式识别概述271.4 模式识别应用u文本图像分析，文本分类u语音识别u工业自动化：零部件/物品分类u多媒体数据检索（文档、图像、视频、音乐检索 ）u生物特征识别，生物信息学，医学图像u空间探测与环境资源检测，遥感图像u安全监控（身份识别、视频监控、交通监控、音视 频监听）u数据挖掘u……第一章 模式识别概述28生物特征识别应用第一章 模式识别概述29遥感图像地表分类应用第一章 模式识别概述30医学图像分析应用第一章 模式识别概述31车牌识别应用第一章 模式识别概述32信函分拣应用第一章 模式识别概述331.5 有关模式识别的若干问题u模式类（样本集）的紧致性： Ø同一类的各模式属于一个紧致集：集合中任意两个内点 可以用光滑线连接，在该连线上的点也属于这个集合。

Ø每个内点都有一个足够大的邻域，该邻域只包含同一集 合中的点u假若每个模式类都满足紧致性假设，则解决模式识 别问题就不会碰到原则上的困难但对于很多实际 问题，这个假设是不成立的 Ø假设临界点的数量与总的点数相比很少 Ø只耍各个模式类是可分的，总存在这样一个空间，使变 换到这个空间中的集合满足紧致性要求第一章 模式识别概述34有关模式识别的若干问题u相似与分类：相似与分类问题远不像集合表达那样 简单明了集合的概念可用来表现已经分好的类， 但对于怎样分类和归类则缺乏指导意义u相似性度量：样本xi和 xj是Rn空间中两个点，它们 间的某种距离的函数 s(xi, xj) Ø距离: d(xi, xj)=[(xi - xj)T.(xi - xj)]1/2 Ø相似性度量1: s(xi, xj)=f(d(xi, xj)) Ø相似性度量2: s(xi, xj)=arccos()u分类都是带有主观性的行为，常缺乏纯客观的分类 标准u靠哪些特征决定相似并进行分类，取决于行为的目 的和方法第一章 模式识别概述35习题1.试简述样本，模式和模式类等概念间的 关系2.试简述模式识别系统的主要组成部分3.试简述先验概率，类条件概率密度函数和 后验概率等概念间的关系。