现代信号处理2备课讲稿.ppt

1单击此处编辑母版标题样式单击此处编辑母版副标题样式参数估计理论2.1 估计子的性能2.2 Fisher信息与Cramer-Rao不等式2.3 Bayes估计2.4 最大似然估计2.5 线性均方估计2.6 最小二乘估计参数估计理论的两个核心内容：对估计子与真实参数的接近度进行量化定义；研究不同的估计方法以及它们的性能比较因为有和有偏的是否就不好？渐近无偏估计子：若当样本长度 N 时，偏差 0，即注1：一个无偏的估计子一定是渐近无偏的，但渐近无偏的估计子不一定是无偏的注2：渐近无偏的估计子是半正定的，而无偏估计子不一定是半正定的注3：偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就高No例.自相关函数的估计子一致性一致性：若N 时，估计子以概率收敛于真实参数，则该估计子称为以概率与真实参数一致n估计子的有效性两个无偏估计子的比较n方差较小的相对有效性无偏与渐近无偏估计子的比较n估计子的均方误差：该估计子与真实参数误差平方的期望值n估计子 优于估计子 ：对所有 ，恒有2.2 Fisher信息与Cramer-Rao不等式n品质函数：真实参数 给定的条件下，条件分布密度函数的对数相对于真实参数的偏导数。

品质函数均值为零nFisher信息：品质函数的方差nCramer-Rao不等式：令 为样本向量若参数估计 是真实参数 的无偏估计，且 和存在，则 的均方误差所能达到的下界（ Cramer-Rao下界）等于Fisher信息的倒数其等号成立的条件 是的 某个正函数，与样本 无关n优效估计子：无偏估计子的方差达到Cramer-Rao下界2.3 Bayes估计n损失（代价）函数：令是属于参数空间的某个参数，是在决策或判定空间A中取值的一个估计，称为损失函数或代价函数，若它是 和二者的实值函数，且满足条件：（1）对所有 和 ，恒有；（2）对每个 至少在决策空间A内存在一个 ，使得n三种常用损失函数绝对损失函数二次型损失函数均匀损失函数n风险函数：损失函数的数学期望nBayes估计：使风险函数最小的参数估计n二次型损失函数的Bayes估计使二次型风险函数最小的估计称为最小均方误差（MMSE）估计风险函数二次型损失函数的Bayes估计n均匀损失函数的Bayes估计均匀损失函数最小化的条件等价为称为后验概率密度的最大化，所求得的参数估计常简称为最大后验概率估计还可等价为 故求得的参数估计也称最大似然估计2.4 最大似然估计n基本思想在对被估计的参数没有任何先验知识的情况下，利用已知的若干观测值估计该参数。

n似然函数视为真实参数 的联合条件概率密度函数 即包含未知参数信息的可能性函数n最大似然估计使似然函数最大化的估计值 ，记为n似然函数的另一表示（对数似然函数)n最大似然估计的求解n最大似然估计的性质：最大似然估计一般不是无偏的，但其偏差可以通过对估计值某个合适的常数加以消除；最大似然估计是一致估计；最大似然估计给出优效估计，如果它存在的话；对于大的N，最大似然估计 为高斯分布，并且其均值为，方差为n例. 令是从一个具有概率密度函数的正态分布得到的随机观测样本，试确定均值和方差的最大似然估计似然函数均值最大似然估计方差最大似然估计n例.令接收信号由下式给出：若是一高斯白噪声，求估计值的方差的Cramer-Rao下界，并评估是否是优效估计子其对数似然函数最大似然估计是无偏的其Fisher信息其Cramer-Rao不等式其等号成立的条件2.5 线性均方估计n问题Bayes估计需要已知后验分布函数最大似然估计需要已知似然函数会导致非线性估计问题，不易求解n线性均方（LMS）的参数估计子式中， 为待定的权系数n原理使均方误差函数 最小n正交性原理均方误差最小，当且仅当估计误差 正交于每一个给定的观测数据n权系数的公式其中相关矩阵非奇异的条件：观测样本相互独立n线性均方估计是一种MMSE估计子2.6 最小二乘估计n建模的三种情况式中，为未知的参数向量，A和b分别是与观测数据有关的系数矩阵和向量适定方程：未知参数个数与方程个数相等，矩阵A非奇异，解为超定方程：方程个数多于未知参数个数，矩阵A的行数多于列数（“高矩阵”）；欠定方程：方程个数少于未知参数个数，矩阵A的行数少于列数（“扁矩阵”）；n最小二乘估计：使其损失函数（误差的平方和） 最小，即解方程A列满秩，参数向量惟一可辨识A秩亏缺，参数向量不可辨识nGauss Markov定理：当误差向量的各个分量具有相同的方差，且个分量不相关时，最小二乘估计在方差最小的意义上最优。

n加权最小二乘估计损失函数：加权误差平方和其解加权矩阵的确定：误差向量方差矩阵决定设式中正定矩阵用P-1左乘原观测模型新的误差向量其最小二乘估计。