模式识别复习重点总结07821

.专业整理.1线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则二维情况：（a）判别函数： ( ) （b）判别边界：g(x)=0; （c）判别规则：n维情况：（a）判别函数： 也可表示为： （b）判别边界：g1(x) =WTX=0 （c）判别规则： （2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M类可有M个判别函数 (b) 判别边界：i （i=1,2,n）类与其它类之间的边界由 gi(x)=0确定 (c) 判别规则： (B)第二种情况：(a)判别函数：有 M(M _ 1)/2个判别平面 (b) 判别边界：(c) 判别规则：(C)第三种情况：(a)判别函数： (b) 判别边界：gi(x) =gj(x) 或gi(x) -gj(x) =0 (c) 判别规则：2分段线性判别方法1）基于距离:（1）子类，类判别函数 （2）判别规则（1）子类：把i类可以分成li个子类: 分成l个子类。子类判别函数：在同类的子类中找最近的均值（2）判别规则：这是在M类中找最近均值。则把x归于j类完成分类2）基于函数：（1）子类，类判别函数 （2）判别规则（1）子类类判别函数：对每个子类定义一个线性判别函数为：（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,.M,因此，决策规则3）基于凹函数的并：（1）析取范式，合取范式，凹函数判别规则析取范式：P=(L11L12L1m)(Lq1Lq2Lqm)合取范式：Q= (L11 L12 L1m) (Lq1 Lq2 Lqm)凹函数：Pi=Li1Li2Lim判别规则：设第一类有q个峰，则有q个凹函数。即P=P1P2Pq 3非线性判别方法（1）集中，分散（2）, 均集中4分类器的设计（1）梯度下降法（迭代法）：准则函数，学习规则（a）准则函数：J(W)J(Wk)+ JT(W- Wk)+(W- Wk)TD(W- Wk)T/2 其中D为当W = Wk时 J(W)的二阶偏导数矩阵（b）学习规则：从起始值W1开始，算出W1处目标函数的梯度矢量J(W1)，则下一步的w值为：W2 = W1-1J(W1) 其中W1为起始权向量， 1为迭代步长，J(W1) 为目标函数，J(W1)为W1处的目标函数的梯度矢量在第K步的时候Wk+1 = Wk-kJ(Wk) 最佳步长为k=|J|2/JTDJ这就是梯度下降法的迭代公式。（2）感知器法：准则、学习规则（批量，样本）（a）准则函数： 其中x0为错分样本（b）学习规则： 1.错误分类修正wk 如wkTx0并且x1 wk+1= wk+kx 如wkTx0并且x2 wk+1= wk-kx 2.正确分类 ，wk不修正 如wkTx0并且x1 如wkTx0并且x2 wk+1= wk （3）最小平方误差准则法（MSE法）（非迭代法）：准则、权向量解(a)准则函数：(b)权向量解：（4）韦霍氏法（LMS法）（迭代法）：准则，学习规则(a)准则函数：(b)学习规则： W1任意 ，Wk+1=Wk+k(bk-WkTXk) Xk k随迭代次数k而减少，以保证算法收敛于满意的W值（5）何卡氏法（H-K法）（迭代法）：准则，的学习规则(a)准则： 它的解为： （b）b，W的学习规则： 其中 c为矫正系数，ek为误差矢量，ek=XWk-bk 初始条件 W1=X+b1并且b1>0迭代时检测 如果ek0时，XW>b，系统线性可分，迭代收敛 如果ek<0时，XW<b，系统线性不可分，迭代不收敛（6）Fisher分类法：准则函数的建立，权值计算，的选择(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。 即可表示为： 其中Sw为类内散布矩阵, Sb为类间散布矩阵 (b)W权值计算：(c)W0的选择 ： Yki表示第i类中第k个样本的投影值 N1为1样本数 N2为2样本数 （7）电位函数分类器：电位函数，累积电位的计算(a)电位函数：电位分布函数有如下三种形式： 为系数 xk为某一特定点(b)累计电位的计算： Kk+1(x)= Kk(x)+rk+1K(x,xk)其中： xk+11并且Kk(xk+1)>0时 rk+1= 0 xk+11并且Kk(xk+1) 0时 rk+1= 1 xk+12并且Kk(xk+1)<0时 rk+1= 0 xk+12并且Kk(xk+1) 0时 rk+1= -151）二类问题的贝叶斯判别（1）判别函数的四种形式（2）决策规则（3）决策面方程（4）决策系统的结构 （1）判别函数的四种形式： （2）判别规则： （3）决策面方程：g（x）=02）多类问题的贝叶斯判别（1）判别函数的四种形式（2）决策规则（3）决策面方程（4）决策系统的结构 （1）判别函数的四种形式：M类有M个判别函数g1(x), g2(x), gm(x).（2）决策规则：另一种形式：（3）决策面方程：6三种最小错误率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程（1）第一种情况：各个特征统计独立，且同方差情况。(最简单情况) (a)判别函数： (b)判别规则： (c)决策面方程：（2）第二种情况：i 相等，即各类协方差相等。 (a)判别函数： (b)判别规则： (c)决策面方程：（3）第三种情况(一般情况)：为任意，各类协方差矩阵不等，二次项xT x与i有关。所以判别函数为二次型函数。(a)判别函数：(b)判别规则： (c)决策面方程： 7最小风险贝叶斯分类器：判别函数，判别规则（1）判别函数：条件风险：i：表示把模式x判决为i类的一次动作 期望风险： （2）判别规则： ：8最小最大损失准则判决（二类）：准则，判别规则，的确定（1）准则：讨论在P(i)变化时如何使最大可能风险最小；（2）判别规则：风险 通过最小风险与先验概率的关系曲线 ，确定最大风险，使最大风险最小。（3）的确定：9（1）贝叶斯估计算法思想：准则，求解过程(A)准则：通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/)转化为后验概率P(/Xi) ，再求贝叶斯估计；(B)求解过程： 确定的先验分布P(),待估参数为随机变量。 用第i类样本xi=(x1, x2,. xN)T求出样本的联合概率密度分布P(xi|)，它是的函数。 利用贝叶斯公式,求的后验概率 （2）正态分布情况下：的计算对的估计为若令P()=N(0, 02 )=N(0,1)9非参数估计的条件密度计算公式（1）Parzen窗口估计的三种形式，条件密度的计算（A）窗口的选择：（A）方窗函数；（B）正态窗函数；（C）指数窗函数（B）条件密度的计算：（2）K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法（A）基本思想：以x为中心建立空胞，使v，直到捕捉到KN个样本为止。（B）用K-近邻法作后验概率估计的方法：由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为N个样本落入VN内有KN个，KN个样本内有Ki个样本属于i类，则联合概率密度：根据Bayes公式可求出后验概率：27模糊聚类分析方法1）基于等价关系（1）-水平截阵（2）等价划分（1）水平截阵： R =x| A(x) （2）等价划分：若 是E上的一个等价关系。则对任意阈值(0 1)则模糊水平集R 也是E上的一个等价关系；由小到大选取阈值(0 1)，将矩阵中相同的行的特征归为一类，得到分类；逐渐增大阈值，则分类增多，知道满足分类数目为止。2）基于相似关系（1）求传递闭包等价（2）利用等价关系