信号的统计估计理论.ppt

国家重点实验室第五章 信号的统计估计理论国家重点实验室基本要求• 掌握随机参量的贝叶斯估计方法 • 掌握最大似然估计方法 • 掌握估计量的性质 • 掌握多参量估计方法 • 掌握线性最小均方误差估计方法 • 掌握最小二乘估计方法 • 掌握信号波形中参量的估计方法国家重点实验室5.1 引言• 估计理论与第三、四章介绍的检测理论有很多相似的地方 ，有些分析方法是相同的• 检测理论的主要任务是从M个可能的信号假设中，判断哪 个假设成立，检测系统结构、性能分析方法及最佳信号波 形设计等问题• 估计理论，主要任务是在某种信号假设下，估算该信号中 某个参数（比如幅度、相位、达到时间）的具体取值，该 需要估计的参数一般是连续变量• 如果信号的某个参数取离散值，估计理论和检测理论的界 限变得不明显国家重点实验室5.1 引言1. 通信系统中的估计问题载波频率信号的幅度信道噪声的均值和方差2. 参量估计的数学模型和估计量的构造估计规则参量空间观测空间国家重点实验室5.1 引言本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣需要接收端作出估计的参量集合Ø 参量空间：Ø 观测空间： 接收端收到的观测信号的集合Ø 概率映射： 信源发送信号到接收端过程中，会有噪声的影响，观测信号中包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的随即矢量，用 来描述。

Ø 估计规则： 利用被估计矢量的先验知识和观测信号的统计特性，根据指标要求，构造观测矢量的函数来定义估计量国家重点实验室5.1 引言3. 估计量性能的评估估计量的均值估计量的均方误差国家重点实验室5.2 随机参量的贝叶斯估计1. 掌握常用代价函数和贝叶斯估计的概念 2. 掌握最小均方误差估计 3. 掌握最大后验概率估计 4. 掌握条件中值估计 5. 理解最佳估计的不变性 国家重点实验室5.2 随机参量的贝叶斯估计1. 常用代价函数和贝叶斯估计的概念 误差平方代价函数 误差绝对值代价函数 均匀代价函数 贝叶斯估计：使平均代价最小的一种估计准则 代价函数的基本特性：非负性和 时的最小性国家重点实验室5.2 随机参量的贝叶斯估计2. 平均代价 设被估计的单随机变量的先验概率密度函数为 平均代价C为 易知代价函数在 给定，选定代价函数的条件下，使平均代价最小的估计 称为贝叶斯估计 国家重点实验室5.2 随机参量的贝叶斯估计2. 平均代价 由 是非负值，因此使平均代价最小，就等价于使最小条件平均代价国家重点实验室5.2 随机参量的贝叶斯估计3. 最小均方误差估计选定的代价函数为 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量 求解方法 国家重点实验室5.2 随机参量的贝叶斯估计3. 最小均方误差估计国家重点实验室5.2 随机参量的贝叶斯估计3. 最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式国家重点实验室5.2 随机参量的贝叶斯估计4. 最大后验估计选定的代价函数为 使条件平均代价最小，应该使 取到最大值当很小时，为保证上式最大，应当选择估计量 ，使它处于后验概率密度函数 最大值的位置 。

国家重点实验室5.2 随机参量的贝叶斯估计4. 最大后验估计根据上述分析，得到最大后验概率估计量为两种等价形式国家重点实验室5.2 随机参量的贝叶斯估计5. 条件中值估计选定的代价函数为 使条件平均代价最小的一个必要条件是对上式中 求偏导 令偏导为零来求得最佳的估计量 求解方法 国家重点实验室5.2 随机参量的贝叶斯估计国家重点实验室5.2 随机参量的贝叶斯估计例5.1 研究在加性噪声中单随机参量 的估计问题观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是均值为零，方差为 高斯随机变量 求 的贝叶斯估计量(最小均方误差、最大后验和条件中值) 国家重点实验室5.2 随机参量的贝叶斯估计解 ：根据最大后验估计准则，估计量为满足以下方程的解，即 最大后验估计由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 国家重点实验室5.2 随机参量的贝叶斯估计所以最大后验估计量为满足以下方程的解 国家重点实验室5.2 随机参量的贝叶斯估计估计量的均方误差为 国家重点实验室5.2 随机参量的贝叶斯估计根据最小均方误差估计准则，估计量为 最小均方误差估计由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 国家重点实验室5.2 随机参量的贝叶斯估计国家重点实验室5.2 随机参量的贝叶斯估计国家重点实验室5.2 随机参量的贝叶斯估计上述分布是高斯型的，其均值为估计量的均方误差为方差为所以最小均方误差估计量为国家重点实验室5.2 随机参量的贝叶斯估计条件中值估计估计量的均方误差为所以条件中值估计量为由于国家重点实验室5.2 随机参量的贝叶斯估计结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的 ——最 佳估计的不变性。

条件中值估计最小均方误差估计最大后验估计国家重点实验室5.2 随机参量的贝叶斯估计例5.2 研究在加性噪声中单随机参量 的估计问题观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 在(-SM,SM)之间均匀分布的随机变量求 的贝叶斯估计量(最小均方误差和最大后验) 国家重点实验室5.2 随机参量的贝叶斯估计解 ：根据最大后验估计准则，估计量为满足以下方程的解，即 最大后验估计由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 国家重点实验室5.2 随机参量的贝叶斯估计所以最大后验估计量为满足以下方程的解 国家重点实验室5.2 随机参量的贝叶斯估计由于s在(-SM, SM)之间取值，所以国家重点实验室5.2 随机参量的贝叶斯估计根据最小均方误差估计准则，估计量为 最小均方误差估计国家重点实验室5.2 随机参量的贝叶斯估计5. 最佳估计的不变性结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下，使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差都是最小的 ——最 佳估计的不变性。

问题：代价函数的选取带有一定的主观性，且后验概率密度函数也不一定是高斯型的，能否找到一种估计方法，使对放宽约束条件的代价函数和后验概率密度函数是最佳的？即可以获得均方误差最小的估计?国家重点实验室5.2 随机参量的贝叶斯估计约束情况1对称下凸且后验概率密度函数对称于条件均值，即满足则使平均代价最小的估计量国家重点实验室5.2 随机参量的贝叶斯估计约束情况2对称下凸且后验概率密度函数是对称于条件均值的单峰函数，即满足则使平均代价最小的估计量对称单峰国家重点实验室5.3 最大似然估计1. 掌握最大似然估计原理 2. 掌握最大似然估计量的构造方法 3. 掌握最大似然估计量的不变性 国家重点实验室5.3 最大似然估计1. 最大似然估计原理 最大似然估计常用来估计未知的非随机参量或者概率密度函数未知的随机参量 被估计量的似然函数为 最大似然被估计的基本原理是：对于某个选定的 ，考虑落在一个小区域内的概率 ，取 最大值对应的 作为估计量 国家重点实验室5.3 最大似然估计2. 最大似然估计量的构造 或根据最大似然估计原理，如果已知似然函数 ，则最大似然估计量可由解得。

国家重点实验室5.3 最大似然估计例5.3 如果参量 的观测方程为其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是未知的非随机参量 求 的最大似然估计量和均方误差 国家重点实验室由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 由最大似然估计原理，得最大似然估计量为满足以下方程的解国家重点实验室所以最大似然估计量为均方误差为国家重点实验室5.3 最大似然估计例5.4 研究在加性噪声中单随机参量 的估计问题观测方程为 其中n是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是未知非随机参量求 的最大似然估计量，并求均方误差 国家重点实验室5.3 最大似然估计解 ： 由题设，可知，给定 条件下，观测信号x是均值为 ，方差为 的高斯随机变量 由最大似然估计原理，得最大似然估计量为满足以下方程的解国家重点实验室所以最大似然估计量为均方误差为国家重点实验室5.3 最大似然估计3. 最大似然估计量的不变性 很多情况下，需要估计 的一个函数 例5.5 如果参量 的观测方程为其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是未知的非随机参量 求 的最大似然估计量国家重点实验室由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 由于 是 的一对一变换，即是单调函数，因此可得解：国家重点实验室所以最大似然估计量为由最大似然估计原理，得最大似然估计量为满足以下方程的解。

国家重点实验室5.3 最大似然估计最大似然估计量不变性归纳 则有以下两个结论如果参量 的最大似然估计量为 ，函数 的最大似然估计量为(1)如果 是 的一对一变换，则有所有变换参量的似然函数 中具有最大值的一个通过 求出 最大似然估计量 2)如果 是 的一对j变换，则应找出在 取值范围内，国家重点实验室5.3 最大似然估计例5.5 如果参量 的观测方程为其中nk是均值为零，方差为 的独立同分布高斯随机噪声 被估计量 是未知的非随机参量 求 的最大似然估计量国家重点实验室由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯随机变量 由于 ，可得解：或国家重点实验室由于 ，可得国家重点实验室由最大似然估计原理，得最大似然估计量为满足以下方程的解所以最大似然估计量为国家重点实验室单参量估计方法小结(1)最小均方误差估计注：1.最小均方误差估计的估计量实际是条件均值2.最小均方误差估计的条件平均代价实际是条件方差3.最小均方误差估计量的另一种形式国家重点实验室单参量估计方法小结(2)最大后验估计两种等价形式国家重点实验室单参量估计方法小结(3)最大似然估计 或根据最大似然估计原理，如果已知似然函数 ，则最大似然估计量可由解得。

国家重点实验室单参量估计方法小结(4)最大似然估计适用于非随机参量和概率密度函数未知的随机参量估计 最小均方误差估计和最大后验估计适用于概率密度函数已知的随机参量估计 但对于非高斯型的，不同的估计方法，可能会得到不同的估计量，如何来衡量一个估计量的好坏？如果后验概率密度是高斯型的，则最小均方误差、最大后验和条件中值三种方法得到的估计量相同，都是具有最小均方误差的估计量国家重点实验室5.4 估计量的性质掌握估计量的无偏性、有效性和一致性的定义掌握克拉美-罗不等式和克拉美-罗界(非随机参量、随 机参量、非随机参量的函数)国家重点实验室5.4 估计量的性质1. 估计量的主要性质1.1 估计量的无偏性(1) 对于随机参量 ，如果估计量 的均值满足则称 是随机参量 的无偏估计国家重点实验室5.4 估计。