模式识别-非参数估计.ppt

模式识别Pattern Classification第五章: 非参数估计非参数估计原理在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术非参数估计的原理是：不需获取类类概率密度的函数形式，而是直接利用学习样本估计特征空间任意点的类概率密度的值即直接由学习样本来直接设计分类器3Applied Pattern Recognition CSE616非参数估计方法 直接由学习样本估计类概率密度P(X/i) ，Parzen窗口法 直接由学习样本估计后验概率P(i /X)， Kn 近邻法非参数估计法Parzen窗口法Kn近邻法4Applied Pattern Recognition CSE616非参数估计思路鲑 鱼鲈 鱼5Applied Pattern Recognition CSE616非参数估计思路用已知类别的学习样本在x处出现的频度来近似P(X/i)， 即：其中：v为包含X点的区域 6Applied Pattern Recognition CSE616非参数估计K为n个样本中落入体积v的样本数故： 表示单位体积内落入x点邻域的样本在总样本中的比例，可以此来近似样本在X点处的类概率密度值。

7Applied Pattern Recognition CSE616非参数估计8Applied Pattern Recognition CSE616非参数估计问题一若v固定，则当n增大时， 只能表示平均概率，而不是点概率密度 因此，为保证 为点概率密度， 必须有9Applied Pattern Recognition CSE616非参数估计10Applied Pattern Recognition CSE616非参数估计问题二若样本数n固定， 则当 时，则会出现x邻域内不包含任何样本，得出 的错误估计11Applied Pattern Recognition CSE616非参数估计12Applied Pattern Recognition CSE616非参数估计解决方案考虑让v和k都随n的变化进行调整，即： 13Applied Pattern Recognition CSE616非参数估计显然为保证 的合理性， 应满足如下条 保证 时， 收敛于点概率 密度 保证不出现0概率密度 保证 收敛14Applied Pattern Recognition CSE616非参数估计基本方法Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数kn近邻法：主动选择kn与n的关系， vn被动确定，指包含kn个样本的x邻域15Applied Pattern Recognition CSE616Parzen窗口法设样本特征空间为d维， Rn为d维超球体， vn 为其体积， hn为其直径16Applied Pattern Recognition CSE616Parzen窗口法可以证明，满足前述三个条件的等效条件为： 17Applied Pattern Recognition CSE616Parzen窗口法因此，可选择 均能满足条件，其中h1为可调常数 主动选择vn与n的关系后， kn如何确定？ 18Applied Pattern Recognition CSE616Parzen窗口法如前所述， kn即为n个样本中落入体积中的样本数 定义窗函数如下： 其中 ， Xi (i=1,2,n)为学习样本, X为特征空间中的待估密度点19Applied Pattern Recognition CSE616Parzen窗口法20Applied Pattern Recognition CSE616Parzen窗口法矩形窗 21Applied Pattern Recognition CSE616Parzen窗口法则有 上式即是由学习样本直接估计特征空间X点处概率密度的方法，称为 Parzen窗口法 22Applied Pattern Recognition CSE616Parzen窗口法一种更为合理的窗函数为正态窗 23Applied Pattern Recognition CSE616Parzen窗口法正态窗 24Applied Pattern Recognition CSE616Parzen窗口法若采用正态窗，则25Applied Pattern Recognition CSE616Parzen窗口法例：已知某一维模式类的实际概率密度函数为： 试用Parzen窗口法对n=1、n=16、n=256及 情况下的概率密度进行估计。

26Applied Pattern Recognition CSE616Parzen窗口法解：采用正态窗函数 令 则对一维空间其中 为可调常数27Applied Pattern Recognition CSE616Parzen窗口法28Applied Pattern Recognition CSE616Parzen窗口法可以看出：当时 ， 可以收敛于任何复杂形式的当n=1时， 即是窗函数的形式当n较小时， 对 的大小较为敏感， 过小则产生噪声性误差，过大则又产生平均性误差29Applied Pattern Recognition CSE616Parzen窗口法所需样本数较多，计算量大，不易求得 的解析表达式当特征空间的维数较大时，实用性差30Applied Pattern Recognition CSE616Parzen窗口法如何用Parzen窗口法进行分类器设计？获取n个学习样本令 或令 31Applied Pattern Recognition CSE616Parzen窗口法当待识别样本到来时，分别计算每一类样本的 ， 即计算对每一类样本重复上述过程，得各类的类概率密度将样本归类到 最大的类别中去32Applied Pattern Recognition CSE616Kn近邻法Parzen窗口法的估计效果取决于样本总数n及 ，当n较小时，对 较为敏感，即 ：33Applied Pattern Recognition CSE616Kn近邻法其原因是由于 只与总样本数有关，即进行概率密度 估计时，任何x点处的 都是相同的一种合理的选择是对样本出现密度大的x处， 可较小，而对样本密度较小的x处， 则相对大一些，这就是近邻法。

34Applied Pattern Recognition CSE616Kn近邻法35Applied Pattern Recognition CSE616Kn近邻法基本原理主动选择 与n的关系， 被动确定，即使得体积 为样本密度的函数，而不是样本总数的函数可选择 ，该条件可满足： 36Applied Pattern Recognition CSE616Kn近邻法 Kn近邻法，有效地解决了Parzen存在的问题，对平均误差和噪声性误差均有较好的改善 选择 后， 如何计算 ？ 37Applied Pattern Recognition CSE616Kn近邻法 为与x点相邻的 个近邻样本中，与x距离最远的样本所构成的区域，即38Applied Pattern Recognition CSE616Kn近邻法39Applied Pattern Recognition CSE616Kn近邻法用Kn近邻法设计分类器的过程：获取n个学习样本令找到待识样本X处的Kn个近邻 计算Kn个邻近到X的距离，找到最远距离的样本计算邻域的直径 ，计算邻域的体积 40Applied Pattern Recognition CSE616Kn近邻法则对每一类样本重复上述过程，得各类的类概率密度将样本X归类到 最大的类别中去41Applied Pattern Recognition CSE616用Kn近邻法估计后验概率非参数估计法的基本思想是：上式即可以用来估计各类样本的类概率密度，也可以用来估计所有类别样本的概率密度分布。

42Applied Pattern Recognition CSE616用Kn近邻法估计后验概率设共有C个待识类别，各个类别的学习样本数分别为n1,n2,nC 总的学习样本数为N= n1+n2 + + nC则 表示所有类别样本在特征空间X处的概率密度 其中 为落入体积 中的样本数 43Applied Pattern Recognition CSE616用Kn近邻法估计后验概率而联合概率密度 为N个落入 中的样本中属于第i类的样本数 44Applied Pattern Recognition CSE616用Kn近邻法估计后验概率又由于则后验概率 上式表明，待识样本在x点处属于第i类的后验概率即是落入其近邻体积内第i类样本与落入总样本数之比 45Applied Pattern Recognition CSE616用Kn近邻法估计后验概率Kn近邻准则：设各类总的学习样本为N,令当待识样本x到来时，找出x的 个近邻，其中属于第i类的样本为 ，则： 取 最大的一类为识别结果46Applied Pattern Recognition CSE616用Kn近邻法估计后验概率近邻法的特点简单，容易实现计算量和计算机存储容量较大多特征，高维空间效率低需要较多的学习样本快速邻近算法：分量邻域法和列表法47Applied Pattern Recognition CSE616用Kn近邻法估计后验概率例：48Applied Pattern Recognition CSE616用Kn近邻法估计后验概率最近邻准则：取 ，则Kn近邻准则变为：当待识别样本X到来时，找出其最近邻的样本，并将X判为最近邻样本类49Applied Pattern Recognition CSE616。