模式识别(统计决策方法)课件

模式识别,自动化学院,统计决策方法 胡静,第二章 贝叶斯决策理论,2,2.1 引言 2.2 最小错误率贝叶斯决策 2.3 最小风险贝叶斯决策 2.4 两类错误率、Neyman-Pearson决策与ROC曲线 2.5 正态分布时的统计决策 2.6 关于分类器的错误率 2.7 离散概率模型下的统计决策举例,托马斯·贝叶斯 ( Thomas Bayes , 17011761)英国牧师、业余数学家。 生活在18世纪的贝叶斯生前是位受人尊敬英格兰长老会牧师，为了证明上帝的存在，他发明了概率统计学原理，遗憾的是，他的这一美好愿望至死也未能实现。 贝叶斯思想和方法对概率统计的发展产生了深远的影响。今天，贝叶斯思想和方法在许多领域都获得了广泛的应用。,背景介绍,3,4,2.1 引言,统计模式识别：用概率统计的观点和方法来解决模式识别问题 基本概念： 样本(sample) 状态(state) 第一类： ， 第二类： 先验概率 (a priori probablity or prior) ， 样本分布密度(sample distribution density) (总体概率密度） 类条件概率密度(class-conditional probablity density) : ，,5,6,统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A), 即 pP(A),实际上，求出的P为频率，但是如果统计次数足够大，可以认为此时的频率接近概率,预备知识-统计概率,可见概率就是频率的稳定中心。任何事件A的概率为 0=P(A)=1,条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。,2.1 引言,后验概率(a posteriori probablity or posterior) : , 错误概率(probablity of error) : 平均错误率(average probablity of error): 正确率(proabality of correctness):,7,和类条件概率密度对比看看,2.1 引言,贝叶斯决策（统计决策理论） 是统计模式识别的基本方法和基础。 是“最优分类器”：使平均错误率最小 条件： 类别数一定， （决策论中把类别称作状态） 已知类先验概率和类条件概率密度 目标：,8,贝叶斯决策的前提条件，不是条件概率的条件,2.2 最小错误率贝叶斯决策,9,因为 ， ，所以上式等价于： for all .而 If , assign - 最小错误率贝叶斯决策，简称贝叶斯决策,平均错误率,2.2 最小错误率贝叶斯决策,如何计算后验概率？ 已知 ， ， 贝叶斯公式：（Bayesian Theory） If , then assign .,10,怎么来的？ 很难记？,例：假设n次实验中，点目标出现m次，点目标被成功检测出来k次，那么条件概率 P(成功检测目标|输入是点目标)=k/m=(k/n)/(m/n)= P(成功检测目标 并且 输入是点目标)/P(输入是点目标的概率) 所以有 P(A|B)=P(AB)/P(B) P(B)0,贝叶斯公式推导,条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率。,P(AB)P(B)·P(A|B),11,两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即 P(A+B)=P(AB)=P(A或B)P(A)P(B) AB= P(检测出点目标)+P(检测出斑目标)P(检测出点目标或检测出斑目标),P(成功检测|斑目标),贝叶斯公式推导,联合概率也叫乘法公式，表示两个事件共同发生的概率,也可以表示为两个任意事件的乘积的概率，或称之为交事件的概率。 A与B的联合概率表示为 P(AB) 或者P(A,B),或者P(AB) 相互独立事件: 事件A是否发生对事件B发生的概率没有影响，反之亦然，这样的两个事件叫做相互独立事件。 当A与B是相互独立的事件,有 P(A)P(B)P(AB)=P(A且B) P(算法1成功检测目标)×P(算法2成功检测目标)P(算法1成功检测目标 且 算法2也成功检测目标),12,设A1,A2,An是两两互斥的事件，AiAj=,ij,i,j =1,2,n, 且A1+A2+,+An=,P(Ai)0,A1,A2,A3,An,B,另有一事件B,= BA1+BA2+BAn,P(AiB)P(Ai)·P(B|Ai),条件概率公式,称满足上述条件的, A1,A2,An为完备事件组.,全概率公式,贝叶斯公式推导,13,14,B= BA1+BA2+,+BAn,P(AiB)P(Ai)·P(B|Ai),AiAj=,全概率公式,贝叶斯公式推导,15,例：在我们平时的自测过程中,点目标的丢失率为1%,斑目标的丢失率为2%。现在输入测试图象点目标有40%,斑目标有60%.我们来预估测试数据总的目标检测率 解:设A1,A2分别表示点目标和 斑目标,B表示目标丢失事件 P(A1)=0.4,P(A2)=0.6，P(B|A1)=0.01, P(B|A2)=0.02， A1A2= P(B)=P(A1B+A2B)=P(A1B)+P(A2B)=P(A1)P(B|A1)+P(A2)P(B|A2) = P(点目标)P(目标丢失|点目标)+P(斑目标)P(目标丢失|斑目标) =0.4×0.01+0.6×0.02=0.016 P(成功检测目标)=1-P（目标丢失）=98.4%,全概率公式,贝叶斯公式推导,由此可以形象地把全概率公式看成为： “由原因推结果”，每个原因对结果的发生有一定的“作用”，即结果发生的可能性与各种原因的“作用”大小有关. 全概率公式表达了它们之间的关系 .,诸Ai是原因，B是结果,A1,A2,A3,An,B,全概率公式,贝叶斯公式推导,16,该公式于1763年由贝叶斯(Bayes)给出，它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率.,设A1,A2,An是样本空间中的完备事件组且P(Ai)0，i=1,2,n, 另有一事件B，则有,P(点目标|成功检测目标)，P(斑目标|成功检测目标),P(目标是飞机|目标特征值为X)，P(目标是导弹|目标特征值为X),简单,一眼 就看出来,复杂,需要 判断决策,贝叶斯公式推导,17,贝叶斯公式的理解,基于条件概率的定义,果,因,证据,先验,因,果,似然：likelyhood 可能性,18,T1:贝叶斯公式有什么用？是用来干什么的? 贝叶斯公式实质上是通过观察B,把状态的先验概率P(Ai) 转化为状态的后验概率P(Ai|B),贝叶斯公式的理解,19,贝叶斯公式的另一种形式,模式识别领域更常用的贝叶斯公式形式 T2：模式识别的贝叶斯公式中为什么可以用概率密度？ 对连续型随机变量，应用贝叶斯公式时，可以用概率密度函数乘以一个常数表示概率。由于所有的类别都乘了相同的常数，所以这个常数也可以忽略不计，直接用概率密度函数就行。,概率密度概率,数理统计：,20,P(B)离散的表示方法,连续的表示方法,这里的似然函数也是类条件概率分布函数。 作为条件概率其计算公式为: 具体计算可以根据已知条件进行实现，如：,果,因,证据,先验,因,果,似然：likelyhood 可能性,T3:似然函数怎么确定？,贝叶斯公式的理解,21,直接读取 前例：在我们平时的自测过程中,点目标的丢失率为1%,斑目标的丢失率为2%。现在输入测试图象点目标有40%,斑目标有60%.我们来预估测试数据总的目标检测率 设A1,A2分别表示点目标和斑目标,B表示目标丢失事件 P(A1)=0.4, P(A2)=0.6 P(B|A1)= P(目标丢失|点目标)= 0.01, P(B|A2)= P(目标丢失|斑目标)= 0.02 计算获得 假设n次实验中，点目标出现m次，点目标被成功检测出来k次， 那么条件概率 P(成功检测目标|点目标)= P(成功检测目标 并且 输入是点目标)/P(输入是点目标的概率) = (k/n)/(m/n)= k/m,贝叶斯公式的理解,22,T4:离散观测条件下类条件概率密度怎么求？ 估计类条件概率密度p(x|i) 方法1a：概率密度参数估计,基于对p(x|i)的含参数的描述 方法1b：概率密度非参数估计,基于对p(x|i)的非参数的描述,贝叶斯公式的理解,23,Kernel-based methods,贝叶斯公式的理解,24,Non-parametric density estimation,贝叶斯公式的理解,25,贝叶斯决策,贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率（先验）估计，然后用贝叶斯公式对发生概率（后验）进行修正，最后再利用期望值和修正概率做出最优决策。 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 1、已知类条件概率密度参数表达式和先验概率 2、利用贝叶斯公式转换成后验概率 3、根据后验概率大小进行决策分类,类条件概率密度参数表达式,先验概率,证据：概率密度,26,2.2 最小错误率贝叶斯决策,最小错误率贝叶斯决策规则的几种等价表达形式： （1） If ，then （2） If , then （3） If , then,27,2.2 最小错误率贝叶斯决策,（4） 定义 If ,then 其中， ：似然比， ：似然比阈值， ：对数似然比,28,概率密度函数,2.2 最小错误率贝叶斯决策,29,类条件概率密度函数,2.2 最小错误率贝叶斯决策,30,后验概率比较,假设先验概率P(1)=0.2,P(2)=0.8 后验概率P(1|X)+P(2|X)=1,2.2 最小错误率贝叶斯决策,31,两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X2,X1,X2,2.2 最小错误率贝叶斯决策,32,两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X2,X1,X2,2.2 最小错误率贝叶斯决策,33,两类情况下的Bayes分类,下述四种等价规则的决策X1,否则X2,2.2 最小错误率贝叶斯决策,34,决策面方程（两类问题）：,2.2 最小错误率贝叶斯决策,35,2.2 最小错误率贝叶斯决策,图示： 错误率：,36,最小错误率准则就是：对于与待判决数据X，寻找一个类别i，使得错误率Pi(e)最小； 最小错误率准则 等价于 求取后验概率P(i|X)最大。,将X判决为j类，但实际上X不属于j类，而是属于i类，由此产生了误判，该事件的概率为：,2.2 最小错误率贝叶斯决策,37,T5:为什么这种基于后验概率的分类方法的平均错误率最小？ 对于两类问题,假设 X 域，判决面将 空间分割为1和2， 1区域所有X值： 分类器判定属于w1类； 2区域所有X值： 分类器判定属于w2类。,2.2 最小错误率贝叶斯决策,38,最小错误率的 Bayes 决策,T5:为什么这种基于后验概率的分类方法 的平均错误率最小？ 对于两类问题,假设X域，判决面将分割为1和2， 分析,