北邮模式识别课堂作业及部分答案.docx

本文格式为Word版，下载可任意编辑北邮模式识别课堂作业及部分答案 第一次课堂作业 ? 1.人在识别事物时是否可以制止错识？ ? 2.假设错识不成制止，那么你是否质疑你所看到的、听到的、嗅到的毕竟是真是的，还是虚假的？ ? 3.假设不是，那么你依靠的是什么呢？用学术语言该如何表示 ? 4.我们是以统计学为根基分析模式识别问题，采用的是错误概率评价分类器性能假设不采用统计学，你是否能想到还有什么合理地分类器性能评价指标来替代错误率？ 1.知觉的特性为选择性、整体性、理解性、恒常性错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉认知是一个过程，需要大脑的参与.人的认知并不神秘，也符合确定的规律，也会产生错误 2.不是 3.分辩事物的最根本方法是计算.从不同事物所具有的不同属性为启程点熟悉事物.一种是对事物的属性举行度量，属于定量的表示方法(向量表示法)另一种那么是对事务所包含的成分举行分析，称为定性的描述(布局性描述方法) 4.风险 其次次课堂作业 ? 作为学生，你需要判断今天的课是否点名结合该问题(或者其它你熟谙的识别问题， 如”天气预报”)，说明: ? 先验概率、后验概率和类条件概率？ ? 按照最小错误率如何决策？ ? 按照最小风险如何决策？ ωi为老师点名的事情,x为判断老师点名的概率 1.先验概率:指根据以往阅历和分析得到的该老师点名的概率,即为先验概率P(ωi ) 后验概率:在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。

在上过课之后,了解到的老师点名的概率为后验概率P(ωi|x) 类条件概率:在老师点名这个事情发生的条件下,学生判断老师点名的概率p(x| ωi ) 2. 假设P(ω1|X)>P(ω2|X)，那么X归为ω1类别 假设P(ω1|X)≤P(ω2|X)，那么X归为ω2类别 3.1)计算出后验概率 已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的特征向量X 根据贝叶斯公式计算 j=1,…，x 2)计算条件风险 已知: 后验概率和决策表 计算出每个决策的条件风险 3) 找出访条件风险最小的决策αk,那么αk就是最小风险贝叶斯决策 第3次课堂作业 1.正态分布概率下采用最小错误率贝叶斯决策，得志什么条件时，分类边界是线性函数？ 2.什么是参数估计，什么是非参数估计(分别举例解释)？ 1. 在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩 阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现 a) 在Σi=σ2I P(ωi)=P(ωj)条件下，正态分布概率模型下的最小错误率贝叶斯决策等价于最小距离分类器 b) Σi=σ2I P(ωi)?P(ωj)判别函数为 最小欧氏距距离 分类器 c) 2)Σi=Σ判别函数 线性分类器 2.参数估计:已经随机变量按照正态分布,估计均值为μ和方差ε 非参数估计:未知数学模型,直接估计概率密度函数 自己举例子吧 参数估计:基于贝叶斯的最小错误率估计方法 非参数估计:Parzen窗口估计kN近邻估计 第4次课堂作业 比较两种方法，回复: 1.你怎样理解极大似然估计。

2.你怎样理解贝叶斯估计根本思想 1. 极大似然估计:已经得到测验结果的处境下,探索着使得这个结果展现的可能性最大 的那个数值作為θ的估计 2. 贝叶斯估计根本思想:已知参数θ的概率密度函数,根据样本的观测值,基于贝叶斯决 策来估计参数 (理解片面,自己加吧加吧) 第6次课堂作业 1. 线性分类器的分界面是什么曲线？ 性判别函数条件下它对应d维空间的一个超平面 g(X)＝0就是相应的决策面方程 2.在两维空间存在一条不过原点的直线，ax1+bx2+c=0，采用增广向量形式： 那么，在增加一维的三维空间中，αTY=0表示的是，它的方程表示为 Y=[1;x2;x1] a=[c;b;a] 三维空间中决策面为一过原点的平面 这样,特征空间增加了一维，但保持了样本间的欧氏距离不变 对于分类效果也与原决策面一致，只是在Y空间中决策面是通过坐标原点的 3. 设五维空间的线性方程为55x1 + 68x2 + 32x3 + 16x4 + 26x5 + 10 = 0, 试求出其权向量与 样本向量点积的表达式WTX + w0=0中的W , X和w0,以及增广样本向量形式中αTY的α与Y。

W=[55,68,32,16,26]’ w0=10 X=(x1,x2,x3,x4,x5)’ A=*10,55,68,32,16,26+’ Y=*1,x1,x2,x3,x4,x5)+’ 第七次作业 1.线性分类器的分界面是超平面，线性分类器设计步骤是什么？ 2. Fisher线性判别函数是研究这类判别函数中最有影响的方法之一,请简述它的准那么. 3.感知器的准那么函数是什么？它通过什么方法得到最优解？ (1) 1.按需要确定一准那么函数J 2.确定准那么函数J达成极值时W*及W*0的概括数值，从而确定判别函数，完成分类器设计 (2)Fisher准那么就是要找到一个最适合的投影轴，使两类样本在该轴上投影的交迭片面最少，从而使分类效果为最正确 (3) 训练样本的错分最小梯度下降法和迭代法 第八次作业答案 1.简述最近邻的决策规矩 2.简述k-最近邻的决策规矩 3.对比最近邻决策和最小错误率贝叶斯决策的错误率 1.将与测试样本的类别作为决策的方法成为最近邻法 2.找测试样本的k个最近样本做决策依据的方法 3. 最近邻法的渐近平均错误率的上下界分别为贝叶斯错误率 由于一般处境下P*很小，因此又可粗略表示成 第九次作业 ? 研究模式识别中事物的描述方法主要靠什么？ ? 设原特征空间表示成x=(x1,x2,x3)T ,即一个三维空间。

现在在x空间根基上得到一 个二维的特征空间Y:(y1,y2)T – 其中若y1=x1，y2=x2,属哪一种方法：特征选择还是特征提取？ – 若 ，试问属哪种？ – 怎样利用距离可分性判据J2举行特征提取？ 1. 模式就是用它们所具有的特征(Feature) 描述的 a) 一种是对事物的属性举行度量，属于定量的表示方法(向量表示法) b) 另一种那么是对事务所包含的成分举行分析，称为定性的描述(布局性描述方法) 2．选择 提取 矩阵Sw-1Sb的本征值为λ1，λ2 … λD，按大小依次排列为: λ1≥ λ2 ≥ … ≥λD， 选前d个本征值对应的本征向量作为W 即: W =[μ1，μ2…μd] 此时: J2 (W) = λ1+ λ2 + … + λd 第10次课堂作业 ? 简述PCA变换的根本思想？ ? 简述PCA变换的过程 ? 有那些特征选择的方法 1.主成分分析(PCA)根本思想 举行特征降维变换，不能完全地表示原有的对象，能量总会有损失 梦想找到一种能量最为集中的的变换方法使损失最小 2. 原始输入: x变换后特征:y变换矩阵(线性变换):A 那么y=ATx 考虑以Rx的特征向量作为A的列，那么 Ry=ATRxA = [a1,a2……an]TRx[ a1,a2……an] = [ a1,a2……an] T [λ1a1, λ2a2……λnan] =? ?为对角矩阵，对角线元素为λ1, λ2……λn 达成变换后特征不相关的目的 原有N维，只留存m维，假设对特征向量排序，舍到最小的特征，那么损失的能量最小即去掉ym+1……yN 3.特征提取 按欧氏距离度量的特征提取方法 按概率距离判据提取特征 特征选择 最优探寻算法 次优探寻法：单独最优特征组合，依次前进法，依次后退法，增l减r法 第十一次课堂作业 ? 联系实际问题或者人的认知过程,谈谈什么是无监视学习？无监视学习能完成什么任务？ 然而在实际应用中，不少处境下无法预先知道样本的标签，也就是说没有训练样本 因而只能从原先没有样本标签的样本集开头举行分类器设计，这就是通常说的无监视学习方法。

计算机视觉 ? 图像分割 ? 基于内容的图像检索 数据挖掘 ? 推举系统/协同过滤 — 8 —。