Lecture 15-随机参量的Bayes估计
State Key Laboratory of Integrated Service Networks 西安电子科技大学西安电子科技大学Xidian University Lecture 15 随机参量的随机参量的BayesBayes估计估计 西安电子科技大学西安电子科技大学Xidian University 基本概念基本概念 估计理论与第三、四章介绍的检测理论有很多相似的地方，估计理论与第三、四章介绍的检测理论有很多相似的地方， 有些分析方法是相同的。有些分析方法是相同的。 检测理论的主要任务是从检测理论的主要任务是从M个可能的信号假设中，判断哪个可能的信号假设中，判断哪 个假设成立，检测系统结构、性能分析方法及最佳信号波个假设成立，检测系统结构、性能分析方法及最佳信号波 形设计等问题。形设计等问题。 估计理论，主要任务是在某种信号假设下，估算该信号中估计理论，主要任务是在某种信号假设下，估算该信号中 某个参数（比如幅度、相位、达到时间）的具体取值，该某个参数（比如幅度、相位、达到时间）的具体取值，该 需要估计的参数一般是连续变量。需要估计的参数一般是连续变量。 如果信号的某个参数取离散值，估计理论和检测理论的界如果信号的某个参数取离散值，估计理论和检测理论的界 限变得不明显。限变得不明显。 2 西安电子科技大学西安电子科技大学Xidian University 模型模型 1. 通信系统中的估计问题通信系统中的估计问题 载波频率、相位、时延载波频率、相位、时延 信道衰落系数信道衰落系数 信道噪声的均值和方差信道噪声的均值和方差 2. 参量估计的数学模型和估计量的构造参量估计的数学模型和估计量的构造 估计规则 参量空间 观测空间 R xp x3 西安电子科技大学西安电子科技大学Xidian University 模型模型 本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。本章的核心问题之一就是研究上述函数的构造方法，评估所构造估计量的优劣。 需要接收端作出估计的参量集合需要接收端作出估计的参量集合 参量空间：参量空间： 观测空间：观测空间： 接收端收到的观测信号的集合接收端收到的观测信号的集合 概率映射：概率映射： 信源发送信号到接收端过程中，会有噪声的影响，观测信号中信源发送信号到接收端过程中，会有噪声的影响，观测信号中 包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的包含被估计矢量的信息，所以观测信号是以被估计矢量为参数的 随即矢量，用随即矢量，用 来描述。来描述。 xp估计规则：估计规则： 利用被估计矢量的先验知识和观测信号的统计特性，根据指标利用被估计矢量的先验知识和观测信号的统计特性，根据指标 要求，构造观测矢量的函数来定义估计量。要求，构造观测矢量的函数来定义估计量。 Nxxxgg, 21xx4 西安电子科技大学西安电子科技大学Xidian University 估计性能估计性能 3. 估计量性能的评估估计量性能的评估 估计量的均值估计量的均值 估计量的均方误差估计量的均方误差 E x xx 22xxEE5 西安电子科技大学西安电子科技大学Xidian University 随机参量的贝叶斯估计随机参量的贝叶斯估计 1. 掌握常用代价函数和贝叶斯估计的概念掌握常用代价函数和贝叶斯估计的概念 2. 掌握最小均方误差估计掌握最小均方误差估计 3. 掌握最大后验概率估计掌握最大后验概率估计 4. 掌握条件中值估计掌握条件中值估计 5. 理解最佳估计的不变性理解最佳估计的不变性 6 西安电子科技大学西安电子科技大学Xidian University 贝叶斯其人贝叶斯其人 7 Bayes Thomas （1701-1761） 英国数学家，英格兰长老会牧师，首英国数学家，英格兰长老会牧师，首 先将归纳推理法用于概率论基础理论，并先将归纳推理法用于概率论基础理论，并 创立了贝叶斯统计理论，对于统计决策函创立了贝叶斯统计理论，对于统计决策函 数、统计推断、统计的估算等做出了贡献。数、统计推断、统计的估算等做出了贡献。 在概率、数理统计学、信号处理中以在概率、数理统计学、信号处理中以 贝叶斯姓氏命名的有贝叶斯公式、贝叶斯贝叶斯姓氏命名的有贝叶斯公式、贝叶斯 方法、贝叶斯统计、贝叶斯风险、贝叶斯方法、贝叶斯统计、贝叶斯风险、贝叶斯 检测准则、贝叶斯估计量、贝叶斯网络等。检测准则、贝叶斯估计量、贝叶斯网络等。 西安电子科技大学西安电子科技大学Xidian University 频率学派与贝叶斯学派频率学派与贝叶斯学派 8 贝叶斯学派与频率学派争论的焦点在于贝叶斯学派与频率学派争论的焦点在于先验分布先验分布。 频率学派：只有在频率学派：只有在先验分布先验分布有一种不依赖主观的意义，有一种不依赖主观的意义， 且能根据适当的理论或以往的经验决定时，才允许使用且能根据适当的理论或以往的经验决定时，才允许使用 先验分布先验分布。他们认为贝叶斯方法对任何统计问题都给以。他们认为贝叶斯方法对任何统计问题都给以 一种程式化的解法，这导致人们只是机械套用公式。一种程式化的解法，这导致人们只是机械套用公式。 贝叶斯学派：贝叶斯学派：先验分布先验分布可以是主观的。他们认为，频率可以是主观的。他们认为，频率 学派表面上不使用学派表面上不使用先验分布先验分布，但所得到的解也还是某种，但所得到的解也还是某种 先验分布先验分布下的贝叶斯解，而这一潜在的下的贝叶斯解，而这一潜在的先验分布先验分布，可能，可能 比经过慎重选定的主观比经过慎重选定的主观先验分布先验分布更不合理。更不合理。 贝叶斯学派还认为，贝叶斯方法这种程式化的解法并不贝叶斯学派还认为，贝叶斯方法这种程式化的解法并不 是机械地套公式，它要求人们对先验分布、代价函数等是机械地套公式，它要求人们对先验分布、代价函数等 的选择作大量工作。的选择作大量工作。 西安电子科技大学西安电子科技大学Xidian University 9 代价函数和贝叶斯估计代价函数和贝叶斯估计 1100() ()MMijjij ijCc P H P H H回顾：贝叶斯检测及代价因子回顾：贝叶斯检测及代价因子 贝叶斯检测基本原则：贝叶斯检测基本原则：平均代价最小平均代价最小 平均代价平均代价: 代价因子和各假设出现的先验概率代价因子和各假设出现的先验概率 M元检测元检测: M2种可能的事件，种可能的事件， 每个事件对应一代价因子每个事件对应一代价因子 西安电子科技大学西安电子科技大学Xidian University 代价函数和贝叶斯估计代价函数和贝叶斯估计 贝叶斯估计及代价函数贝叶斯估计及代价函数 贝叶斯估计基本原则：贝叶斯估计基本原则： 问题问题: 如何定义代价？如何计算平均代价及使平均代价最小？如何定义代价？如何计算平均代价及使平均代价最小？ 平均代价最小平均代价最小(给定先验概率和代价条件下给定先验概率和代价条件下) 被估计量被估计量: 用用 表示，为表示，为连续随机变量。连续随机变量。 估估 计计 量量: 用用 表示，是观测信号的函数，也为连续随机表示，是观测信号的函数，也为连续随机 变量变量 10 西安电子科技大学西安电子科技大学Xidian University 11 代价函数和贝叶斯估计代价函数和贝叶斯估计 贝叶斯估计基本原则：贝叶斯估计基本原则： 问题问题: 如何定义代价？如何计算平均代价及使平均代价最小？如何定义代价？如何计算平均代价及使平均代价最小？ 平均代价最小平均代价最小(给定先验概率和代价条件下给定先验概率和代价条件下) 被估计量被估计量: 用用 表示，为表示，为连续随机变量。连续随机变量。 估估 计计 量量: 用用 表示，是观测信号的函数，也为连续随机表示，是观测信号的函数，也为连续随机 变量变量 应为每一对应为每一对 和和 分配一个代价，可得到一个代价函数分配一个代价，可得到一个代价函数 不再是代价不再是代价 因子，而是因子，而是 代价函数代价函数 ( , )C ( )C贝叶斯估计及代价函数贝叶斯估计及代价函数 西安电子科技大学西安电子科技大学Xidian University 代价函数选取原则和常用代价函数代价函数选取原则和常用代价函数 2( )()c ( ) |c 1, |/2( )()0, |/2cc 代价函数的基本选择原则：代价函数的基本选择原则： 问题可解；问题可解； 非负性非负性 时的最小性。时的最小性。 常用代价函数常用代价函数 误差平方函数误差平方函数 误差绝对值函数误差绝对值函数 均匀代价函数均匀代价函数 012 西安电子科技大学西安电子科技大学Xidian University 常用代价函数常用代价函数 2c误差平方代价函数误差平方代价函数 误差绝对值代价函数误差绝对值代价函数 c均匀代价函数均匀代价函数 1,/2 0,/2cc 贝叶斯估计：使平均代价最小的一种估计准则。贝叶斯估计：使平均代价最小的一种估计准则。 代价函数的基本特性：非负性和代价函数的基本特性：非负性和 时的最小性。时的最小性。 013 西安电子科技大学西安电子科技大学Xidian University 常用代价函数常用代价函数 2( )()c ( ) |c 1, |/2( )()0, |/2cc 14 西安电子科技大学西安电子科技大学Xidian University 15 平均代价计算平均代价计算 ( )( ) ( , )CE ccpd d xx基本原理：平均代价基本原理：平均代价 C 应是对代价函数求均值，即代价函数应是对代价函数求均值，即代价函数 的数学期望的数学期望 影响因素：影响因素：代价函数是随机参量代价函数是随机参量 和观测矢量和观测矢量 x x 的函数的函数 平均代价平均代价C按照下式计算：按照下式计算： 贝叶斯估计：在给定先验概率和代价函数的条件下，使平均代贝叶斯估计：在给定先验概率和代价函数的条件下，使平均代 价最小的估计方法。价最小的估计方法。 由于由于 平均代价最小等价于平均代价最小等价于使条件平均代价使条件平均代价 最小最小 ( ) () ( )Ccppd d xx x( )( ) ()pcpddxxx()( ) ()Ccpdxx西安电子科技大学西安电子科技大学Xidian University 最小均方误差估计最小均方误差估计 2c选定的代价函数为：选定的代价函数为： dpcCxxdpx2使条件平均代价最小的一个必要条件是对上式中使条件平均代价最小的一个必要条件是对上式中 求偏导求偏导 令偏导为零来求得最佳的估计量令偏导为零来求得最佳的估计量 求解方法：求解方法： 16 西安电子科技大学西安电子科技大学Xidian University 最小均方误差估计最小均方误差估计
