《模式识别》(边肇祺)习题答案.pdf

模式识别(第二版)习题解答目录1绪论22贝叶斯决策理论23概率密度函数的估计84线性判别函数105非线性判别函数166近邻法167经验风险最小化和有序风险最小化方法188特征的选取和提取189基于K-L展开式的特征提取2010 非监督学习方法221模式识别(第二版)习题解答§1绪论略§2贝叶斯决策理论• 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表示？解：设一个有C类，每一类的先验概率为P(wi)，i = 1,...,C此时最小错误率贝叶斯 决策规则为：如果i∗= max iP(wi)，则x ∈ wi• 2.2 利用概率论中的乘法定理和全概率公式证明贝叶斯公式（教材中下面的公式有错 误）P(wi|x) =p(x|wi)P(wi) p(x).证明：P(wi|x) =P(wi,x) p(x)=p(x|wi)P(wi) p(x)• 2.3 证明：在两类情况下P(wi|x) + P(w2|x) = 1证明：P(w1|x) + P(w2|x) =P(w1,x) p(x)+P(w2,x) p(x)=P(w1,x) + P(w2,x) p(x)=p(x) p(x) = 1• 2.4 分别写出在以下两种情况1. P(x|w1) = P(x|w2)2. P(w1) = P(w2)下的最小错误率贝叶斯决策规则。

解： 当P(x|w1) = P(x|w2)时，如果P(w1) > P(w2)，则x ∈ w1，否则x ∈ w2当P(w1) = P(w2)时，如果P(x|w1) > P(x|w2)，则x ∈ w1，否则x ∈ w2• 2.51. 对c类情况推广最小错误率率贝叶斯决策规则；2. 指出此时使错误率最小等价于后验概率最大，即P(wi|x) > P(wj|x) 对一切j ̸= i 成立时，x ∈ wi2模式识别(第二版)习题解答解：对于c类情况，最小错误率贝叶斯决策规则为：如果 P(wi|x) = max j=1,...,cP(wj|x)，则x ∈ wi利用贝叶斯定理可以将其写成先验概率和类条件概率相联系的形式，即如果 p(x|wi)P(wi) = max j=1,...,cp(x|wj)P(wj)，则x ∈ wi• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若p(x|w1) p(x|w2)>(λ12− λ22)P(w2) (λ21− λ11)P(w1),则x ∈ w1，反之则属于w2解：计算条件风险R(α1|x) =2∑j=1λ1jP(wj|x)= λ11P(w1|x) + λ12P(w2|x)R(α2|x) =2∑j=1λ2jP(wj|x)= λ21P(w1|x) + λ22P(w2|x)如果R(α1|x) (λ12− λ22)P(w2|x)(λ21− λ11)P(w1)p(x|w1) > (λ12− λ22)P(w2)p(x|w2) p(x|w1) p(x|w2)>(λ12− λ22)P(w2) (λ21− λ11)P(w1)所以，如果p(x|w1)p(x|w2)>(λ12− λ22)P(w2) (λ21− λ11)P(w1)，则x ∈ w1。

反之则x ∈ w2• 2.7 若λ11= λ22= 0,λ12= λ21，证明此时最小最大决策面是来自两类的错误率相等解： 最小最大决策时满足(λ11− λ22) + (λ21− λ11)∫R2p(x|w1)dx − (λ12− λ22)∫R1p(x|w2)dx = 0容易得到∫R1p(x|w2)dx =∫R2p(x|w1)dx所以此时最小最大决策面使得P1(e) = P2(e)• 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的3模式识别(第二版)习题解答解： 对于同一决策规则（如最小错误率贝叶斯决策规则） ，它的判别函数可以是j∗= max j=1,...,cP(wj|x)，则x ∈ wj∗另外一种形式为j∗=max j=1,...,cp(x|wj)P(wj)，则x ∈ wj∗考虑两类问题的分类决策面为：P(w1|x) = P(w2|x)，与p(x|w1)P(w1) = p(x|w2)P(w2) 是相同的• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程• 2.10 随机变量l(x)定义为l(x) =p(x|w1) p(x|w2)，l(x)又称为似然比，试证明– (1) E{ln(x)|w1} = E{ln+1(x)|w2}– (2) E{l(x)|w2} = 1– (3) E{l(x)|w1} − E2{l(x)|w2} = var{l(x)|w2}（教材中题目有问题）证明：对于(1)，E{ln(x)|w1} =∫ ln(x)p(x|w1)dx =∫(p(x|w1))n+1 (p(x|w2))ndx又E{ln+1(x)|w2} = ∫ ln+1p(x|w2)dx =∫(p(x|w1))n+1 (p(x|w2))ndx 所以，E{ln(x)|w1} = E{ln+1(x)|w2}对于(2)，E{l(x)|w2} =∫ l(x)p(x|w2)dx =∫ p(x|w1)dx = 1对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}• 2.11 xj(j = 1,2,...,n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11= λ22= 0 及λ12= λ21= 1的情况下，由贝叶斯决策引起的错误率。

（中心极限 定理）解： 在0 − 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等价• 2.12 写出离散形式的贝叶斯公式解：P(wi|x) =P(x|wi)P(x)∑c j=1P(x|wi)P(wi)• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况，并写出其判别函数• 2.14 写出离散情况条件风险R(ai|x)的定义，并指出其决策规则解：R(ai|x) =c∑j=1λijP(wj|x)=c∑j=1λijp(x|wj)P(wj)////omit the same part p(x)R(ak|x) =min j=1,2,...,NR(aj|x)，则ak就是最小风险贝叶斯决策• 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面，且其主轴方向由Σ的特征向量 决定，轴长度由Σ的特征值决定证明：多元正态分布的等密度点满足：xTΣ−1x = C，C为常数4模式识别(第二版)习题解答• 2.16 证明Mahalanobis距离r符合距离定义三定理，即– (1) r(a,b) = r(b,a)– (2) 当且仅当a = b时，r(a,b) = 0– (3) r(a,c) ≤ r(a,b) + r(b,c)证明：(1) r(a,b) = (a − b)TΣ−1(a − b) = (b − a)TΣ−1(b − a) = r(b,a)(2) Σ为半正定矩阵所以r(a,b) = (a−b)TΣ−1(a−b) ≥ 0，只有当a = b时，才有r(a,b) = 0。

3) Σ−1可对角化，Σ−1= PΛPT• 2.17 若将Σ−1矩阵写为：Σ−1=h11h12···h1d h12h22···h2d ............ h1dh2d···hdd，证明Mahalanobis距离平方为γ2=d∑i=1d∑j=1hij(xi− ui)(xj− uj)证明：γ2= (x − u)Th11h12···h1d h12h22···h2d ............ h1dh2d···hdd(x − u)=d∑i=1d∑j=1hij(xi− ui)(xj− uj)• 2.18 分别对于d = 2,d = 3证明对应与Mahalanobis距离γ的超椭球体积是V = Vd|Σ|1 2γd• 2.19 假定x和m是两个随机变量，并设在给定m时，x的条件密度为p(x|m) = (2π)1 2σ−1exp{ −12(x − m)2/σ2}再假设m的边缘分布是正态分布，期望值是m0，方差是σ2m，证明p(m|x) =(σ3+ σm)1 2(2π)1 2σσmexp[−12σ2+ σ2m σ2σ2m( m −σ2mx + m0σ2 σ2+ σ2m)2]5模式识别(第二版)习题解答证明：p(m|x) =p(x|m)p(m) p(x)=p(x|m)p(m)∫p(x|m)p(m)dm=(2π)1 2σ−1exp{−12(x − m)2/σ2}(2π)12σ−1mexp{−12(m − m0)2/σ2m}∫(2π)1 2σ−1exp{−12(x − m)2/σ2}(2π)1 2σ−1mexp{−12(m − m0)2/σ2m}dm=(σ3+ σm)1 2(2π)1 2σσmexp[−12σ2+ σ2m σ2σ2m( m −σ2mx + m0σ2 σ2+ σ2m)2]• 2.20 对Σi= σ2I的特殊情况，证明– (1) 若P(wi) ̸= P(wj)，则超平面靠近先验概率较小的类；– (2) 在甚么情况下，先验概率对超平面的位置影响不大。

证明： (1)当P(wi) = P(wj)时，超平面经过x0=1 2(ui+uj)，则对于先验概率较小的类属于它的区域会减少，所以超平面经过的点会靠近先验概率较小的类 （可以这样理 解，具体证明也很简单）(2)？不知道这是什么问题，先验概率不管在什么时候都很重要！• 2.21 对Σi= Σ的特殊情况，指出在先验概率不等时，决策面沿ui点与uj点连线向先验 概率小的方向移动证明： 同上面一题解释一样• 2.24 似然比决策准则为：若• 2.23 二维正态分布，u1= (−1,0)T,u2= (1,0)T,Σ1= Σ2= I,P(w1) = P(w2)试写出 对数似然比决策规则解：h(x) = −ln[l(x)]= −lnp(x|w1) + lnp(x|w2)=1 2(x1− u1)TΣ−11(x1− u1) −1 2(x2− u2)TΣ−12(x2− u2) +1 2ln|Σ1| |Σ2|=1 2[(x − u 1)T(x − u1) − (x − u2)T(x − u2)]而，ln[P(w1) P(w2)] = 0所以判别规则为当(x−u1)T(x−u1) > (x−u2)T(x−u2)则x ∈ w1,反之则s ∈ w2。

即将x判给离它最近的ui的那个类• 2.24 在习题2.23中若Σ1̸= Σ2，Σ1=[11 21 21] ，Σ2=[1−12−121] ，写出负对数似然比决策规则6模式识别(第二版)习题解答解：h(x) = −ln[l(x)]= −lnp(x|w1) + lnp(x|w2)=1 2(x1− u1)TΣ−11(x1− u1) −1 2(x2− u2)TΣ−12(x2− u2) +1 2ln|Σ1| |Σ2|=1 2xT(Σ−1 1− Σ−12)x − (Σ−11ui− Σ−12uj)Tx+1 2(uT 1Σ−1 1u1− uT2Σ−1 2u2+ ln|Σ1| |Σ2|)= −43x1x2+4 3x1而，ln[P(w1) P(w2)] = 0决策面为x1(x2− 1) = 0，如图1所示xy1图 1: 分类决策面• 2.25 在习题2.24的情况下，若考虑损失函数λ11= λ22= 0,λ12= λ21，画出似然比阈值 与错误率之间的关系– (1)求出P(e) = 0.05时完成Neyman-Pearson决策时总的错误率； （P(e)应该为P(e1) 或者P(e2)）– (2)求出最小最大决策的域值和总的错误率。

解：（1）损失函数在0-1损失函数条件下的最小风险贝叶斯决策等价于最小错误率贝叶斯 决策似然比等于0的情况下错误率最小当P(e1) = 0.05时，7模式识别(第二版)习题解答（2）最小最大决策时。