贝叶斯统计与决策讲座.ppt

STATISTICS PROBABILITYPROBABILITY   &   STATISTICSPROBABILITYSTATISTICS STATISTICS PROBABILITY & STATISTICSPROBABILITY & STATISTICSPROBABILITYPROBABILITY & STATISTICSμ-4-2024PROBABILITY & STATISTICSPROBABILITY   &   STATISTICSPROBABILITYSTATISTICS 贝叶斯统计与决策      吴志雄吴志雄 统计学中有二个主要学派：频率学派和统计学中有二个主要学派：频率学派和贝叶斯学派贝叶斯学派的起点是贝叶斯的两贝叶斯学派贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及在统都有叙述，而贝叶斯假设几乎都不提及在统计推断的基本理论和方法方面，贝叶斯学派与计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。

频率学派之间存在着重大差异引言引言讲座内容讲座内容1 1 贝叶斯统计概述贝叶斯统计概述2 2 先验分布的确定先验分布的确定3 3 贝叶斯统计推断贝叶斯统计推断4 4 贝叶斯决策贝叶斯决策1 1 贝叶斯统计概述贝叶斯统计概述 1.1 1.1 全概率公式与贝叶斯公式全概率公式与贝叶斯公式引例引例  有三个箱子，分别编号为有三个箱子，分别编号为1, 2, 31号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.  某人从三箱中任取一箱，从中任意摸某人从三箱中任取一箱，从中任意摸出一球，（出一球，（1）求取得红球的概率求取得红球的概率2）已知）已知取出的是红球，求此球来自取出的是红球，求此球来自1号箱的概率号箱的概率1)  解：记解：记 Bi ={ 球取自球取自 i 号箱号箱 },    i=1, 2, 3;                   A ={取得红球取得红球}B1A, B2A, B3A 两两互斥两两互斥将将此此例例中中所所用用的的方方法法推推广广到到一一般般的的情情形形，，就就得得到在概率计算中常用的到在概率计算中常用的全概率公式。

依题意，依题意，P(A|B1)=1/5, P(A|B2)=2/5,  P(A|B3)=3/3( 2 ) 解：解：引例引例  有三个箱子，分别编号为有三个箱子，分别编号为1, 2, 31号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.  某人从三箱中任取一箱，从中任意摸出某人从三箱中任取一箱，从中任意摸出一球，（一球，（1）求取得红球的概率求取得红球的概率2）已知取出）已知取出的是红球，求此球来自的是红球，求此球来自1号箱的概率号箱的概率Bayes公式这类问题，是这类问题，是“已知结果求原因已知结果求原因”是已知是已知某结果发生条件下，求各原因发生可能性大小某结果发生条件下，求各原因发生可能性大小　 设设B1,B2,…,Bn是是两两两两互互斥斥的的事事件件，，且且P(Bi)>0，，i=1,2,…,n, 另另有有一一事事件件A，，它它总总是是与与B1,B2,…,Bn 之之一同时发生，则一同时发生，则 称称 P( Bi ) 为为先验概率先验概率，它是由以往的经，它是由以往的经验得到的，它是事件验得到的，它是事件 A 的原因。

的原因称称               为为后验概率后验概率，它是得到了信，它是得到了信息息 — A 发生，再对导致发生，再对导致 A 发生的原因发生的原因Bi发生发生的可能性大小重新加以修正的可能性大小重新加以修正后来的学者依据贝叶斯公式的思想发展了后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作一整套统计推断方法，叫作“贝叶斯统计贝叶斯统计” 可见贝叶斯公式的影响可见贝叶斯公式的影响   例例 1.1    用用Bayes公式分析伊索寓言公式分析伊索寓言《《孩子与狼孩子与狼》》中中村民对小孩的信赖程度是如何下降的村民对小孩的信赖程度是如何下降的解解:A ：：小孩说谎；小孩说谎； B ：：小孩可信；小孩可信；小孩第说一次谎后的可信度为：小孩第说一次谎后的可信度为：不妨设：不妨设：P(B)= 0.8；；小孩第说二次谎后的可信度为：小孩第说二次谎后的可信度为：1.2 贝叶斯统计贝叶斯统计           贝叶斯统计学的基础是著名的贝叶斯公式，它是贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（英国学者贝叶斯（T.R.Bayes1702~1761））在他死后二在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出年发表的一篇论文《论有关机遇问题的求解》中提出的。

经过二百年的研究与应用，贝叶斯的统计思想得的经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派到很大的发展，目前已形成一个统计学派—贝叶斯学贝叶斯学派为了纪念他，英国历史最悠久的统计杂志派为了纪念他，英国历史最悠久的统计杂志《《Biometrika》》在在1958年又全文刊登贝叶斯的这篇论年又全文刊登贝叶斯的这篇论文  1.总体信息：总体分布或所属分布族提供给我们的总体信息：总体分布或所属分布族提供给我们的                           信息信息 2.样本信息：从总体抽取的样本提供给我们的信息样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息先验信息：在抽样之前有关统计推断的一些信息    1.2.1  统计推断统计推断中可用的三种信息中可用的三种信息 1.2.2 1.2.2 贝叶斯学派与频率学派之间存在重大差异贝叶斯学派与频率学派之间存在重大差异1)频率统计学派与贝叶斯学派在进行统计推频率统计学派与贝叶斯学派在进行统计推   断时的断时的依据不同依据不同；；2)对概率的概念的对概率的概念的理解不同理解不同；；3)两个学派的具体统计推断理念之间存在两个学派的具体统计推断理念之间存在根根   本差异。

本差异1) 统计推断时的依据不同统计推断时的依据不同•频率统计学派在进行统计推断时，依据两类信息：频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息）总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用，而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息另外一种信息即先验信息  在概率论与数理统计中讨论的点估计只使用在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息假如能把收集前两种信息，没有使用先验信息假如能把收集到的先验信息也利用起来，那对我们进行统计推到的先验信息也利用起来，那对我们进行统计推断是有好处的只用前两种信息的统计学称为经断是有好处的只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统典统计学，三种信息都用的统计学称为贝叶斯统计学 2) 对概率的概念的理解不同对概率的概念的理解不同•        频率学派坚持概率的频率解释，并在频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；信程度，它不依赖事件能否重复；3) 两个学派统计推断理念之间存在着根本差异两个学派统计推断理念之间存在着根本差异• 统统计计学学奠奠基基人人费费歇歇尔尔把把统统计计学学的的任任务务概概括括为为三三个个问问题题：：选选定定模模型型、、确确定定统统计计量量和和决决定定统统计计量量的的分分布布。

根根据据费费歇歇尔尔的的观观点点，，信信息息量量包包含含在在样样本本中中，，但但样样本本为为数数众众多多，，因因此此须须用用少少数数几几个个统统计计量量把把信信息息集集中中起起来来，，而而抽抽样样分分布布则则决决定定了了统统计计量量的的全全部部性性质质；；目目前前，，频频率率统统计计学学派派基基本本上上是是按按照照这这种思路来处理统计推断问题的种思路来处理统计推断问题的 贝贝叶叶斯斯学学派派认认为为：：先先验验分分布布反反映映了了试试验验前前对对总总体体参参数数分分布布的的认认识识，，在在获获得得样样本本信信息息后后，，对对这这个个认认识识有有了了改改变变，，其其结结果果就就反反映映在在后后验验分分布布中中，，即即后后验验分分布布综综合合了了先先验验分分布布和和样样本本的的信信息息由由此此可可以以看看出出，，频频率率学学派派统统计计推推断断是是“从从无无到到有有”的的过过程程——在在试试验验前前，，关关于于位位置置参参数数的的情情况况是是一一无无所所知知，，而而试试验验后后则则有有些些了了解解，，但但了了解解多多少少？？并并无无普普遍遍的的表表述述方方法法，，在在实实践践中中有有赖赖于于所所使使用用的的统统计计量量的的针针对对性性；；贝贝叶叶斯斯统统计计推推断断则则不不然然，，它它是是一一个个“从从有有到到有有”的的过过程程，，且且结结果果清清楚楚自自然然，，符符合合人人们们的的思思维维习习惯惯——根根据据所所获获得得的的信信息息修修正正以以前前的的看看法法，，不不一一定定从从零零开开始始，，从从本本质质上上说说，，贝贝叶叶斯斯推推断断理理论论概概括括了了多多数数成成年年人人的的学学习过程。

习过程 但但是是最最主主要要的的差差别别，，也也是是贝贝叶叶斯斯理理论论的的一一个个重重要要特特征征，，在在于于只只能能基基于于后后验验分分布布，，也也就就是是说说，，在在获获得得后后验验分分布布后后，，如如果果把把样样本本、、原原来来的的统统计计模模型型都都丢丢掉掉，，一一点点也也不不会会影影响响将将来来的的推推断断，，凡凡是是符符合合这这个个准准则则的的推推断断就就是是贝贝叶叶斯斯推推断断据据此此，，矩矩估估计计、、显显著著性性统统计计检检验验和和置置信信区区间间估估计计都都不不属属于于贝贝叶叶斯斯推推断断，，但但最最大大似似然然估估计计则则可可视视为为均均匀匀先先验验分分布布之之下下的的贝贝叶叶斯斯推推断断，，因因此此，，作作为为频频率率学学派派中中一一个个很很重重要要的的极极大大似似然然估估计计，，其其实实，，它它只只不不过过是是在在一一种种很特殊先验分布下的贝叶斯估计而已很特殊先验分布下的贝叶斯估计而已1.3.1 贝叶斯公式贝叶斯公式的三种形式的三种形式1.1.贝叶斯公式的事件形式：贝叶斯公式的事件形式：     假定假定                  是互不相容的事件，它是互不相容的事件，它们之和们之和        包含事件包含事件B，即，即              ，则有：，则有：  1.3 贝叶斯公式贝叶斯公式假假设设Ⅰ 随随机机变变量量X有有一一个个密密度度函函数数p(x;θ)，，其其中中θ是是一一个个参参数数，，不不同同的的θ对对应应不不同同的的密密度度函函数数，，故故从从贝贝叶叶斯斯观观点点看看，，p(x;θ)是是在在给给定定θ后后的的一一个个条条件件密密度度函函数数，，因因此此记记为为p(x│θ)更更恰恰当当一一些些。

这这个个条条件件密密度度能能提提供供我我们的有关的们的有关的θ信息就是总体信息信息就是总体信息假假设设Ⅱ 当当给给定定θ后后，，从从总总体体p(x│θ)中中随随机机抽抽取取一一个个样样本本X1，，…，，Xn，，该该样样本本中中含含有有θ的的有有关关信信息息这这种种信信息就是样本信息息就是样本信息2.2.贝叶斯公式的密度函数形式：贝叶斯公式的密度函数形式：        在在给给出出贝贝叶叶斯斯公公式式的的密密度度函函数数形形式式之之前前，，先先介介绍绍以下贝叶斯学派的一些具体思想或者叫着基本假设以下贝叶斯学派的一些具体思想或者叫着基本假设 ：：假设假设Ⅲ 从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数θ是一个随机变量而描是一个随机变量而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用为先验分布，其密度函数用π(θ)表示1）） 先验分布先验分布定义定义1 将总体中的未知参数将总体中的未知参数θ∈∈Θ看成一取值于看成一取值于Θ的随机变量，的随机变量，它有一概率分布，记为它有一概率分布，记为π(θ)，，称为参数称为参数θ的先验分布。

的先验分布2）） 后验分布后验分布        在贝叶斯统计学中，把以上的三种信息归纳起来的最好在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本形式是在总体分布基础上获得的样本X1，，…，，Xn，，和参数的和参数的联合密度函数：联合密度函数：         在在这这个个联联合合密密度度函函数数中中当当样样本本                 给给定定之之后后，，未未知知的的仅仅是是参参数数θ了了，，我我们们关关心心的的是是样样本本给给定定后后，，θ的的条条件件密密度度函函数数，，依据密度的计算公式，容易获得这个条件密度函数：依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中这就是贝叶斯公式的密度函数形式，其中称为称为θθ的的后验密度函数后验密度函数，或，或后验分布后验分布而 ：：是是样样本本的的边边际际分分布布，，或或称称样样本本                        的的无无条条件件分分布布，，它的积分区域就是参数它的积分区域就是参数θ的取值范围，随具体情况而定的取值范围，随具体情况而定3.3.3.3.贝叶斯公式的离散形式：贝叶斯公式的离散形式：贝叶斯公式的离散形式：贝叶斯公式的离散形式：      当当  是离散随机变量时，先验分布可用先是离散随机变量时，先验分布可用先验分布列验分布列π(θi)，这时后验分布也是离散形，这时后验分布也是离散形式：式：   假如总体假如总体X也是离散的，则只须将也是离散的，则只须将p(x|θ)换换成成P(X=x|θ)即可。

即可  前面的分析总结如下：人们根据先验信息对参前面的分析总结如下：人们根据先验信息对参数数θθ已有一个认识，这个认识就是先验分布已有一个认识，这个认识就是先验分布π(θ)π(θ)通过试验，获得样本从而对通过试验，获得样本从而对θθ的先验分布进行调的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布的结果就是后验分布 后验分布是三后验分布是三种信息的综合获得后验分布使人们对种信息的综合获得后验分布使人们对θθ的认识又的认识又前进一步，可看出，获得样本的的效果是把前进一步，可看出，获得样本的的效果是把我们对我们对θ的认识由的认识由π(θ)调整到调整到                     所以对θ的统计的统计推断就应建立在后验分布推断就应建立在后验分布                       的基础上的基础上1.3. 2 后验分布是三种信息的综合后验分布是三种信息的综合例例1.2 设设事事件件A的的概概率率为为     ，，即即                。

为为了了估估计计     而而作作n次次独独立立观观察察，，其其中中事事件件A出出现现次次数数为为X，，则则有有X服服从从二二项项分布分布                  即即解题步骤：解题步骤：1.1.作贝叶斯假设如果此时我们对事件作贝叶斯假设如果此时我们对事件A的发生的发生没有任何了解，对没有任何了解，对 的大小也没有任何信息在这种情况下，的大小也没有任何信息在这种情况下，贝叶斯建议用区间（贝叶斯建议用区间（0，，1）上的均匀分布作为）上的均匀分布作为θθ的先验分布的先验分布因为它在（因为它在（0，，1）上每一点都是机会均等的因此：）上每一点都是机会均等的因此：2.计算样本计算样本X与参数与参数   的联合分布：的联合分布：此式在定义域上与二项分布有区别此式在定义域上与二项分布有区别如何求出后验分布？如何求出后验分布？即：即： 5.具具体体算算例例拉拉普普拉拉斯斯计计算算过过这这个个概概率率,研研究究男男婴婴的的诞诞生生比比例例是是否否大大于于0.5?如如抽抽了了251527个个男男婴婴,女女婴婴241945个个他他选选用用U(0，，1)作作为为θ的的先先验验分分布布，，于于是是可可得得θ的的后后验验分分布布Be(x+1,n-x+1), 其其中中n=251527+241945=493472，，x=251527。

由此拉普拉斯计算了由此拉普拉斯计算了“θ≤0.5”的后验概率：的后验概率：故他断言男婴诞生的概率大于故他断言男婴诞生的概率大于0.54.利用贝叶斯公式可得利用贝叶斯公式可得      的后验分布：的后验分布：3.计算计算X的边际密度为的边际密度为:注：伽玛函数与贝塔分布简介：注：伽玛函数与贝塔分布简介：定义：定义：定义在定义在[0，，1]上，且用密度函数：上，且用密度函数：表示的概率分布称为贝塔分布，记为表示的概率分布称为贝塔分布，记为B Be e( (p,qp,q) )  特例：特例：当当p=q=1时，时，Be(1,1)(1,1)分布即为区间分布即为区间 [0[0，，1]1]上的均匀分布；上的均匀分布； 当当p=q=1/2，， Be (1/2,1/2)(1/2,1/2)分布称为反正弦分布称为反正弦分布，分布，密度函数为：密度函数为：设设                   ，则，则        的密度函数为：的密度函数为：即：即：为什么将贝塔分布作为为什么将贝塔分布作为θ的先验分布族是恰当的？的先验分布族是恰当的？ (1)参数参数θ是废品率，它仅在（是废品率，它仅在（0，，1）上取值。

因此，必需用）上取值因此，必需用   区间（区间（0，，1）上的一个分布去拟合先验信息上的一个分布去拟合先验信息β分布正是分布正是   这样一个分布这样一个分布     (2)β分布含有两个参数分布含有两个参数p与与q，，不同的不同的p与与q就对应不同的先验就对应不同的先验         分布，因此这种分布的适应面较大分布，因此这种分布的适应面较大3)样样本本X的的分分布布为为二二项项分分布布b(n,θ)时时，，假假如如θ的的先先验验分分布布为为β分分布布，，则则用用贝贝叶叶斯斯估估计计算算得得的的后后验验分分布布仍仍然然是是β分分布布，，只只是是其其中中的的参参数数不不同同这这样样的的先先验验分分布布(β分分布布)称称为为参参数数θ的的共共轭轭先先验验分分布布选选择择共共轭轭先先验验分分布布在在处处理理数数学学问问题题上上带带来来不不少少方方便例例例例1.3 1.3 1.3 1.3 投资决策问题投资决策问题投资决策问题投资决策问题     为了提高某产品的质量，公司经理考虑增加投为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资资来改进生产设备，预计需投资10100 0万元，但从投万元，但从投资效果看，下属部门有两种意见：资效果看，下属部门有两种意见： θθ1 1 ：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占90%90% θθ2 2 ：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占70%70%问：公司经理怎样决策？问：公司经理怎样决策？根据过去的经验知：根据过去的经验知： θθ1 1的可信度为的可信度为40%40%，，θθ2 2的可信度为的可信度为60%60%试验试验A，，    A：试制：试制5个产品，全是高质量的产品个产品，全是高质量的产品试验试验B，，    B：试制：试制10个产品，个产品，9个是高质量的产品个是高质量的产品       1.4  共轭先验分布共轭先验分布1.4.11.4.1共轭先验分布共轭先验分布      定义定义1.1  设设    是总体分布中的参数（或参数向是总体分布中的参数（或参数向量），量）， π(θ)是是    的先验密度函数，假如由抽样的先验密度函数，假如由抽样信息算得的后验密度函数与信息算得的后验密度函数与π(θ)有相同的形式，有相同的形式，则称则称π(θ)是是    的（自然）共轭先验分布。

的（自然）共轭先验分布 注意：共轭先验分布是对某一分布中的参数而注意：共轭先验分布是对某一分布中的参数而言的如正态均值、正态方差、泊松均值等离开言的如正态均值、正态方差、泊松均值等离开指定参数及其所在的分布去谈论共轭先验分布是没指定参数及其所在的分布去谈论共轭先验分布是没有意义的有意义的 1.4.2  样样简化后验分布的简化后验分布的计算计算   ————省略常数因子省略常数因子省略常数因子省略常数因子   •      在给定样本分布在给定样本分布p(x|θ)和先验分布和先验分布π(θ)后可用贝叶后可用贝叶斯公式计算斯公式计算θ的后验分布：的后验分布：π(θ)= p(x|θ) π(θ)/m(x)，由，由于于m(x)不依赖于不依赖于θ，在计算，在计算θ的后验分布中仅起到一的后验分布中仅起到一个正则化因子的作用假如把个正则化因子的作用假如把m(x)省略，把贝叶斯省略，把贝叶斯公式改写成如下等价形式：公式改写成如下等价形式：•其中符号其中符号“   ”表示两边仅差一个常数因子，一个不表示两边仅差一个常数因子，一个不依赖于依赖于θ的常数因子上式右端称为后验分布的常数因子上式右端称为后验分布•            的核。

的核例例例例1.4 1.4 1.4 1.4 证明：二项分布的成功概率证明：二项分布的成功概率证明：二项分布的成功概率证明：二项分布的成功概率θθθθ的共轭先验分布的共轭先验分布的共轭先验分布的共轭先验分布是贝塔分布是贝塔分布是贝塔分布是贝塔分布1.4.3 共轭共轭先验分布的优缺点先验分布的优缺点          共轭先验分布在很多场合被采用，因为它共轭先验分布在很多场合被采用，因为它有两个优点：有两个优点：（（1）计算方便计算方便2）后验分布的一些参数可得到很好的解释后验分布的一些参数可得到很好的解释      不足：怎样找到合适的先验分布？不足：怎样找到合适的先验分布？1.4.4  常用的一些共轭先验分布常用的一些共轭先验分布      共轭先验分布选取的一般原则：共轭先验分布选取的一般原则：是由似然函数是由似然函数L(θ)=p(x|θ)中所含的因式所中所含的因式所决定的，即选与似然函数具有相同核的分布作决定的，即选与似然函数具有相同核的分布作为先验分布为先验分布常用的一些常用的一些常用的一些常用的一些共轭分布共轭分布共轭分布共轭分布总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒Γ分布IGa(a,b)二项分布 成功概率 β分布Poisson分布 均值 Γ分布Ga(a,b)指数分布均值的倒数 Γ分布Ga(a,b)            1.5  超超参数及其确定参数及其确定•一、超参数的定义：先验分布中所含的未知参数称为一、超参数的定义：先验分布中所含的未知参数称为超参数超参数•二、估计方法：共轭先验分布是一种有信息的先验分二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：超参数的估计方法：•    问题：二项分布中成功概率问题：二项分布中成功概率θ的共轭先验分布是贝的共轭先验分布是贝塔分布塔分布Be(α,β)，怎样确定两个超参数，怎样确定两个超参数α和和β？？1.5.1 利用利用先验矩：先验矩：1.5.2. 利用利用先验分位数：先验分位数：•假如根据先验信息可以确定贝塔分布的二假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定个分位数，则可用这两个分位数来确定α与与β，譬如用两个上、下四分位数，譬如用两个上、下四分位数θU与与θL来确来确定定α与与β，，θU与与θL分别满足如下二个方程：分别满足如下二个方程：•从这两个方程解出从这两个方程解出α与与β即可确定超参数。

即可确定超参数1.5.3. 利用利用先验矩和先验分位数先验矩和先验分位数    假如根据先验信息可获得先验均值假如根据先验信息可获得先验均值  和和p分分位数位数   ，则可列出下列方程：，则可列出下列方程：     •由此可解出由此可解出α与与β的估计值的估计值 1.5.4.其它方法其它方法2.1  主观概率主观概率1.贝叶斯学派要研究的问题：如何用人们的经贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布验和过去的历史资料确定概率和先验分布2.经典统计确定概率的两种方法：经典统计确定概率的两种方法：  （（1）古典方法；）古典方法；  （（2）频率方法频率方法3.主观概率的定义：一个事件的概率是人们根主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信据经验对该事件发生可能性所给出的个人信念2 2 先验分布的确定先验分布的确定2.2  确定确定主观概率的方法主观概率的方法•1.1.利用对立事件的比较确定主观概率利用对立事件的比较确定主观概率；；•2.2.利用专家意见确定主观概率；利用专家意见确定主观概率；•3.3.向多位专家咨询确定主观概率向多位专家咨询确定主观概率 ；；•4.4.充分利用历史资料，考虑现有信息加以修正充分利用历史资料，考虑现有信息加以修正, ,才能得到比较切合实际的主观概率才能得到比较切合实际的主观概率 。

45    2.3 利用先验信息确定先验分布利用先验信息确定先验分布当先验信息足够多时，可用下列方法：当先验信息足够多时，可用下列方法：一、直方图法一、直方图法二、选定先验密度函数形式再估计其超参数二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法三、定分度法与变分度法 2.4 利用边缘分布利用边缘分布m(x)确定先验密度确定先验密度46  2.5  无信息先验分布无信息先验分布一、贝叶斯假设与广义先验分布一、贝叶斯假设与广义先验分布二、位置二、位置-尺度参数的无信息先验尺度参数的无信息先验三、三、Jeffreys 先验先验四、四、Reference先验先验五、概率匹配先验五、概率匹配先验3 3 贝叶斯统计推断贝叶斯统计推断3.1 3.1 条件方法条件方法 1.后后验验分分布布的的特特点点：：未未知知参参数数的的后后验验分分布布是是集集三三种种信信息息（（总总体体、、样样本本和和后后验验））于于一一身身，，它它包包含含了了所所有有可可供供利利用用的的信信息息故故有有关关的的参参数数估估计计和和假假设设检检验验等等统统计计推推断断都都按按一一定定方方式式从从后后验验分分布布提提取取信信息息，，其其提提取取方方法法与与经典统计推断相比要简单明确得多。

经典统计推断相比要简单明确得多2.条条件件方方法法的的基基本本思思想想：：基基于于后后验验分分布布的的统统计计推推断断实实际际上上只只考考虑虑已已出出现现的的数数据据（（样样本本观观察察值值））而而认认为为未未出出现现的的数数据据与与推推断断无无关关，，这这一一重重要要的的观观点点被被称称为为“条条件件观观点点”，，基基于于这这种种观观点点提提出出的的统统计计方方法法被被称称为为条条件件方方法3.条条件件方方法法与与频频率率方方法法的的区区别别：：(以以对对估估计计的的无无偏偏性性认认识识为为例例)            例如经典统计学认为参数的无偏估计应满足：例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚为出现过，而多数从未出现际中样本空间中绝大多数样本尚为出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的故在贝叶斯的样本也要参与平均是实际工作者难以理解的故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。

接受的3.2 3.2 估计估计1.1.贝叶斯估计贝叶斯估计 定定义义3.1 使使后后验验密密度度            达达到到最最大大的的值值        称称为为最最大大后后验验估估计计；；后后验验分分布布的的中中位位数数      称称为为后后验验中中位位数数估估计计；；后后验验分分布布的的期期望望值值     称称为为    的的后后验验期期望望值值估估计计，，这这三三个个估估计计都都称称为贝叶斯估计，记为为贝叶斯估计，记为       解题的基本步骤：解题的基本步骤：2．分析后验分布的特征：．分析后验分布的特征： 对称分布对称分布 例例3 3.2  为估计不合格率为估计不合格率 ，今从一批产品中随机抽取，今从一批产品中随机抽取n件，件，其中不合格品数其中不合格品数X服从服从 ，一般选取，一般选取 为为 的的先验分布，设先验分布，设 已知，求已知，求 的的Bayes估计解：由共轭先验分布可知，解：由共轭先验分布可知， 的后验分布为：的后验分布为：则得：则得：特例：选用贝叶斯假设作为先验分布，即特例：选用贝叶斯假设作为先验分布，即则则 ：：第第一一、、在在二二项项分分布布时时，，   的的最最大大后后验验估估计计就就是是经经典典统统计计中中的的极极大大似似然然估估计计，，即即   的的极极大大似似然然估估计计就就是是取取特特定的先验分布下的贝叶斯估计。

定的先验分布下的贝叶斯估计第二、第二、 的后验期望值估计的后验期望值估计 要比最大后验估计要比最大后验估计 更合适一些更合适一些 注意注意: :试验号试验号样本量样本量n不合格不合格数数x13000.200210000.08333310.8004101010.917表表表表3.1 3.1 不合格率不合格率不合格率不合格率 的二种贝叶斯估计的比较的二种贝叶斯估计的比较的二种贝叶斯估计的比较的二种贝叶斯估计的比较3.3  区间估计区间估计(可信区间可信区间) 一、可信区间一、可信区间                   这这里里的的可可信信水水平平和和可可信信区区间间与与经经典典统统计计中中的的置置信信水水平平与与置置信信区区间间虽虽是是同同类类的的概概念念，，但但两两者者还还是是有有本本质质的的差差别别，，主主要要表现在下面二点表现在下面二点:        1.在在条条件件方方法法下下,对对给给定定的的样样本本 x和和可可信信水水平平1-α，，通通过过后后验验分分布布可可求求得得具具体体的的可可信信区区间间，，譬譬如如，，θ的的可可信信水水平平为为0.9的的可可信区间是信区间是[1.5，，2.6]，这时我们可以写出，这时我们可以写出        2.在在经经典典统统计计中中寻寻求求置置信信区区间间有有时时是是困困难难的的，，因因为为它它要要设设法法构构造造一一个个枢枢轴轴量量（（含含有有被被估估计计参参数数的的随随机机变变量量）），，使使它它的的分分布布不不含含未未知知参参数数，，这这是是一一项项技技术术性性很很强强的的工工作作。

相相比比之之下下可可信信区区间间只只要要利利用用后后验验分分布布，，不不需需要要再再去去寻寻求求另另外外的的分分布布，，可信区间的寻求要简单得多可信区间的寻求要简单得多 例例3.3 3.3  设设 是来自正态总体是来自正态总体 的的一个样本观察值，其中一个样本观察值，其中 已知已知,若正态均值的先验分若正态均值的先验分布取为布取为 ，其中，其中 与与 已知，则可求得已知，则可求得 的后的后验分布为验分布为 ，由此很容易获得，由此很容易获得 的的 可信可信 区间区间 ：：其中其中是标准正态分布是标准正态分布1-α/2α/2的分位数的分位数3.4  假设检验假设检验  3.4.1 3.4.1 假设检验假设检验    经典统计中处理假设检验问题的基本步骤：经典统计中处理假设检验问题的基本步骤：  1.建立原假设建立原假设H0与备择假设与备择假设H1：：            H0：：θ∈∈Θ0，，H1：：θ∈∈Θ1   其中其中Θ0与与Θ1是参数空间是参数空间Θ中不相交的二个非空子集。

中不相交的二个非空子集  2.选择检验统计量选择检验统计量T=T(x)，使其在原假设，使其在原假设H0为真时概率为真时概率分布是已知的这是在经典方法中最困难的一步分布是已知的这是在经典方法中最困难的一步  3.对给定的显著性水平对给定的显著性水平α(0<α<1)，确定拒绝域，确定拒绝域W，使犯，使犯第第Ⅰ类错误（拒真错误）的概率不超过类错误（拒真错误）的概率不超过α  4.当样本观察值当样本观察值x落入拒绝域落入拒绝域W时，就拒绝原假设时，就拒绝原假设H0，，接受备择假设接受备择假设H1；否则就保留原假设否则就保留原假设 3.4.2 3.4.2 贝叶斯统计贝叶斯统计贝叶斯统计贝叶斯统计中处理假设检验问题的基本中处理假设检验问题的基本中处理假设检验问题的基本中处理假设检验问题的基本思想思想思想思想                获得获得获得获得后验分布后验分布后验分布后验分布π(θ|x)π(θ|x)后，先计算二个假设后，先计算二个假设后，先计算二个假设后，先计算二个假设HH0 0和和和和HH1 1的后验概率：的后验概率：的后验概率：的后验概率：                    α αi i=P(Θ=P(Θi i|x)|x)，，，，i=0,1i=0,1然后比较然后比较然后比较然后比较α α0 0与与与与α α1 1的大小：的大小：的大小：的大小：          当后验概率比当后验概率比当后验概率比当后验概率比( (或称后验机会比或称后验机会比或称后验机会比或称后验机会比)α)α0 0/α/α1 1>1>1时接受时接受时接受时接受HH0 0；；；；          当当当当α α0 0/α/α1 1<1<1时接受时接受时接受时接受HH1 1；；；；          当当当当α α0 0/α/α1 1≈1≈1时，不宜做判断，还需要进一步抽样或进时，不宜做判断，还需要进一步抽样或进时，不宜做判断，还需要进一步抽样或进时，不宜做判断，还需要进一步抽样或进一步收集先验信息。

一步收集先验信息一步收集先验信息一步收集先验信息59        由由由由这两个学派假设检验的基本思想可看出贝这两个学派假设检验的基本思想可看出贝这两个学派假设检验的基本思想可看出贝这两个学派假设检验的基本思想可看出贝叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：叶斯假设检验更易理解更简单：•1.贝叶斯假设检验无需选择检验统计量，贝叶斯假设检验无需选择检验统计量，确定抽样分布；确定抽样分布；•2.无需事先给出显著性水平，确定其拒绝无需事先给出显著性水平，确定其拒绝域；域；•3.易推广到多重假设检验的场合，检验的易推广到多重假设检验的场合，检验的标准是：接受具有最大后验概率的假设标准是：接受具有最大后验概率的假设4   贝叶斯决策贝叶斯决策 4.1 4.1 决策理论基础决策理论基础  4.1.1 4.1.1 决策问题的三要素决策问题的三要素    1. 状状态态集集               ,其其中中每每个个元元素素       表表示示自自然然界界(或或社社会会)可可能能出出现现的的一一种种状状态态,所所有有可可能能状状态态的的全全体体组组成成状状态态集集.（（如如例例2中中的的两两种种状状态态：：雨雨水水充充足和雨水不充足）足和雨水不充足）   2.  行行动动集集             ,其其中中a表表示示人人对对自自然然界界可可能能采采取取的一个行动的一个行动.      注注意意：：一一般般行行动动集集有有两两个个以以上上的的行行动动供供选选择择.若若有有两两个个行行动动无无论论对对自自然然界界的的哪哪一一个个状状态态出出现现,      总总比比     收收益益高高,则则      就就没没有有存存在在的的必必要要,可可把把它它从从行行动集中去掉动集中去掉,使留在行动集中的行动总有可取之处使留在行动集中的行动总有可取之处.3.3.收益函数收益函数 。

函数值函数值 表示当自然界表示当自然界处于状态处于状态 ,而人们选取行动而人们选取行动 时所得到的收益大小时所得到的收益大小       收收益益函函数数的的值值可可正正可可负负，，其其正正表表示示赢赢利利，，负负表表示示亏亏损损，，单单位位常常用用货货币币单单位位收收益益函函数数的的建建立立不不是是件件容容易易的的事事，，要要对对所所研研究究的的问问题题有有全全面面的的了了解解才才能能建建立立起起来收益矩阵来收益矩阵4.1.2 4.1.2 先验期望准则先验期望准则一、先验期望准则一、先验期望准则(1)(1)定义：对给定的决策问题，若在状态集定义：对给定的决策问题，若在状态集ΘΘ上有一个正常的先上有一个正常的先验分布验分布ππ( (θθ) )，则收益函数，则收益函数Q(Q(θθ, ,αα) )对对ππ( (θθ) )的期望与方差的期望与方差分别称为先验期望收益和收益的先验方差使先验平均收益达分别称为先验期望收益和收益的先验方差使先验平均收益达到最大的行动到最大的行动a'a'称为先验期望准则下的最优行动若此种最优行动不止一个，称为先验期望准则下的最优行动。

若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动其中先验方差达到最小的行动称为二阶矩准则下的最优行动4.1.3 4.1.3 损失函数损失函数       这这里里的的损损失失函函数数不不是是负负的的收收益益，，也也不不是是亏亏损损例例如如，，某某商商店店一一个个月月的的经经营营收收益益为为-1000元元，，即即亏亏1000元元这这是是对对成成本本而而言言我我们们不不称称为为损损失失，，而而称称其其为为亏亏损损我我们们讲讲的的损损失失是是指指“该该赚赚而而没没有有赚赚到到的的钱钱”，，例例如如该该商商店店本本可可以以赚赚2000元元，，但但由由于于某某种种原原因因亏亏了了1000元元，，那那我我们们说说该该商商店店损损失失了了3000元元用用这这种种观点认识损失对提高决策意识是有好处的观点认识损失对提高决策意识是有好处的 构成决策问题的三要素构成决策问题的三要素:由收益函数容易获得损失函数由收益函数容易获得损失函数 例例4.1 某某公公司司购购进进一一批批货货物物投投放放市市场场,若若购购进进数数量量低低于于市市场场需需求求量量,每每吨吨可可赚赚15万万元元, 若若购购进进数数量量超超过过市市场场需需求求量量,超超过过部部分分每每吨吨反反而而要要亏亏35万万元元.由由此此可可写写出出收收益益函数函数显显然然,当当购购进进数数量量等等于于市市场场需需求求量量时时,收收益益达达到到最最大大为为15   .则立即可得损失函数则立即可得损失函数:4.1.4 4.1.4 常用常用损失函数损失函数(1)(1)平方损失函数平方损失函数 这是在统计决策中用得最多的损失函数这是在统计决策中用得最多的损失函数.(2)线性损失函线性损失函数数 (3)0-1损失函数损失函数(4)多元二次损失函多元二次损失函数数 4.2  贝叶斯贝叶斯决策问题决策问题4.2.1 4.2.1 决策决策问题分类问题分类   (1)仅使用先验信息的决策问题称为无数据仅使用先验信息的决策问题称为无数据(或无样本信息或无样本信息)的决策问题的决策问题;   (2)仅使用抽样信息的决策问题称为统计决仅使用抽样信息的决策问题称为统计决策问题策问题;   (3)先验信息和抽样信息都使用的决策问题先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题称为贝叶斯决策问题.损失函数被称为贝叶损失函数被称为贝叶斯统计中的斯统计中的第四种第四种信息信息.         先先验验信信息息和和抽抽样样信信息息都都用用的的决决策策问问题题称称为为贝贝叶叶斯斯决决策策问问题题。

若若以以下下条条件件已已知知，，则则我我们们认认为为一一个个贝贝叶叶斯斯决策问题给定了决策问题给定了4)  定义在定义在            上的二元函数上的二元函数               称为损失函数称为损失函数4.2.24.2.2 贝叶斯贝叶斯决策的优缺点决策的优缺点1.优点主要表现在优点主要表现在:(1)贝叶斯决策充分利用各种信息贝叶斯决策充分利用各种信息,使决策结果更加科学化使决策结果更加科学化;(2)能对调查结果的可能性加以数量化的评价能对调查结果的可能性加以数量化的评价;(3)贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来;(4)贝叶斯决策过程可以不断地使用贝叶斯决策过程可以不断地使用,使决策结果逐步完善使决策结果逐步完善.2.缺点缺点:(1)贝叶斯决策所需要的数据多，分析计算也比较复杂贝叶斯决策所需要的数据多，分析计算也比较复杂,如果如果解决的问题比较复杂时解决的问题比较复杂时,这个矛盾就更加突出这个矛盾就更加突出;(2)在决策的过程中，有些数据必须要使用主观概率在决策的过程中，有些数据必须要使用主观概率,有些人有些人不是很相信不是很相信,这也妨碍了贝叶斯决策方法的推广和使用这也妨碍了贝叶斯决策方法的推广和使用.   O4.3   后验风险决策后验风险决策1.后验风险函数后验风险函数 我们把损失函数我们把损失函数 对后验分布对后验分布 的的期望称为后验风险期望称为后验风险,记记 ,即即 后验风险就是用后验分布计算的平均损失后验风险就是用后验分布计算的平均损失.          2.决策函数决策函数定义定义4 4.1   在给定的贝叶斯决策问题中在给定的贝叶斯决策问题中,从样本空间从样本空间 到行动集到行动集A上的一个映照上的一个映照 称为该决策问题的一个决策函数称为该决策问题的一个决策函数,                     表示所表示所有从样本空间有从样本空间χχ到到A A上的决策函数组成的类上的决策函数组成的类,称为决策称为决策函数类函数类.在在贝贝叶叶斯斯决决策策中中我我们们面面临临的的是是决决策策函函数数类类D,要要在在D中选择决策函数中选择决策函数           ,使其风险最小使其风险最小.3.后验风险准则后验风险准则        定定义义  在在给给定定的的贝贝叶叶斯斯决决策策问问题题中中                是是其其决决策函数类策函数类,则称则称为为决决策策函函数数              的的后后验验风风险险.假假如如在在决决策策函函数数类类中中存存在在这这样样的的决决策策函函数数              ,它它在在D中中有有最最小小的的风风险险,即即则则称称             为为后后验验风风险险准准则则下下的的最最优优决决策策函函数数,或或称贝叶斯决策称贝叶斯决策,或贝叶斯解或贝叶斯解,或或贝叶斯估计贝叶斯估计。

注注: (1)定义中的条件定义中的条件:给定的贝叶斯决策问题给定的贝叶斯决策问题      (2)定义中的先验分布允许是广义的定义中的先验分布允许是广义的.例例例例4.2 4.2 设设设设                                                            是是是是来自正态分布来自正态分布来自正态分布来自正态分布N(N(θθθθ,1,1,1,1) )的一个样本又的一个样本又的一个样本又的一个样本又设参数设参数设参数设参数θθθθ的先验分布为共轭先验分布的先验分布为共轭先验分布的先验分布为共轭先验分布的先验分布为共轭先验分布N(0,N(0,τ τ2 2), ),其中其中其中其中τ τ2 2已知已知已知已知. .而损失而损失而损失而损失函数为函数为函数为函数为0-10-1损失函数损失函数损失函数损失函数试求参数试求参数试求参数试求参数θθθθ的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计解解:分三步求解分三步求解:(1)求参数求参数θθ的后验分布的后验分布(2)对于任意一个决策函数对于任意一个决策函数                 计算后验风险函数计算后验风险函数:(3)求出使得上述风险函数达到最小时的决策函数求出使得上述风险函数达到最小时的决策函数:例例例例4.3  4.3  在在在在市场占有率市场占有率市场占有率市场占有率θθθθ的估计问题中，已知损失函数为：的估计问题中，已知损失函数为：的估计问题中，已知损失函数为：的估计问题中，已知损失函数为：药厂厂长对市场占有率药厂厂长对市场占有率药厂厂长对市场占有率药厂厂长对市场占有率θθθθ无任何先验信息，另外在市场调查中，无任何先验信息，另外在市场调查中，无任何先验信息，另外在市场调查中，无任何先验信息，另外在市场调查中，在在在在n n个购买止痛剂的顾客中有个购买止痛剂的顾客中有个购买止痛剂的顾客中有个购买止痛剂的顾客中有x x人买了新药，试在后验风险人买了新药，试在后验风险人买了新药，试在后验风险人买了新药，试在后验风险准则准则准则准则下下下下对对对对θθθθ作出贝叶斯估计。

作出贝叶斯估计作出贝叶斯估计作出贝叶斯估计解解:(1) θ θ的先验分布的先验分布U(0,1),U(0,1),(2)求参数求参数θθ的后验分布的后验分布:  结果为结果为 Be(x+1,n-x+1)(3)                           计算后验风险函数计算后验风险函数(4)求最优行动使上述后验风险函数达到最小求最优行动使上述后验风险函数达到最小.令令:                                                                 则得则得:(5)数值计算数值计算: 设设n=10,x=1, 后验分布后验分布:  结果为结果为 4.4.14.4.1平方损失函数平方损失函数下的贝叶斯估计下的贝叶斯估计定定理理4.1 在在平平方方损损失失函函数数                        下下,     的的贝贝叶斯估计为后验均值叶斯估计为后验均值,即即4.4 4.4 常用损失函数下的贝叶斯估计常用损失函数下的贝叶斯估计定理定理定理定理4.2  4.2  在加权在加权在加权在加权平方损失函数平方损失函数平方损失函数平方损失函数                                                                    下下下下,  , θθθθ的贝叶斯估计为的贝叶斯估计为的贝叶斯估计为的贝叶斯估计为: :其中其中其中其中λλλλ( ( ( (θθθθ) ) ) )为参数空间为参数空间为参数空间为参数空间ΘΘΘΘ上的正值函数上的正值函数上的正值函数上的正值函数. .定理定理定理定理4.3  4.3  在在在在参数向量参数向量参数向量参数向量                                                   的场合下的场合下的场合下的场合下, ,对多元二对多元二对多元二对多元二次损失函数次损失函数次损失函数次损失函数                                                                                              ,Q,Q为正定阵为正定阵为正定阵为正定阵,  , θθθθ的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计为后验均值向量为后验均值向量为后验均值向量为后验均值向量: :例例例例4.4 4.4 设设设设                                            是是是是来自泊松分布来自泊松分布来自泊松分布来自泊松分布的一个样本的一个样本的一个样本的一个样本. .若若若若θθθθ的先验分布用其共轭先验分布的先验分布用其共轭先验分布的先验分布用其共轭先验分布的先验分布用其共轭先验分布G(G(G(G(αααα, , , ,λλλλ),),),),即即即即其中参数其中参数其中参数其中参数α α与与与与λλλλ已知已知已知已知. .求平方损失函数下求平方损失函数下求平方损失函数下求平方损失函数下θθθθ的贝叶斯估的贝叶斯估的贝叶斯估的贝叶斯估计计计计. .解解:解题过程分为以下三步解题过程分为以下三步:(1)(1)根据题意求出根据题意求出θθ的后验分布的后验分布(2)(2)写出后验均值写出后验均值(3)(3)结论结论:由定理由定理4.1.1知知θθ的贝叶斯估计为的贝叶斯估计为:例例例例4.5  4.5  设设设设                                        是来自均匀分布是来自均匀分布是来自均匀分布是来自均匀分布U(0,U(0,U(0,U(0,θθθθ) ) ) )的一个样本的一个样本的一个样本的一个样本. .又又又又设设设设θθθθ的先验分布为的先验分布为的先验分布为的先验分布为ParetoParetoParetoPareto分布分布分布分布. .在损失函数分别在损失函数分别在损失函数分别在损失函数分别为为为为绝对值绝对值绝对值绝对值损失函数和平方损失函数下求损失函数和平方损失函数下求损失函数和平方损失函数下求损失函数和平方损失函数下求θθθθ的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计. .解题步骤解题步骤:第一步第一步:求求θθ的后验分布的后验分布:第二步第二步:在绝对值损失函数在绝对值损失函数下下θθ的贝叶斯估计的贝叶斯估计:恰为后恰为后验分布的中位数验分布的中位数.第三步第三步:平方损失函数下平方损失函数下θθ的贝叶斯估计的贝叶斯估计:ParetoPareto分布的分布函数分布的分布函数:密度函数为密度函数为:期望期望:方差方差:中位数中位数:4.4.24.4.2. .线性损失函数下的贝叶斯估计线性损失函数下的贝叶斯估计  定理定理定理定理 4.4 4.4 4.4 4.4 在绝对值损失函数在绝对值损失函数L(θ,δ)=|θ-δ|下下, θ的贝叶斯估计的贝叶斯估计δB(x)为后验分布为后验分布π( (θθ|x)|x)的中位数的中位数.定理定理定理定理 4.5 4.5 4.5 4.5 性损失函数性损失函数性损失函数性损失函数: : : :下下下下,  , θθθθ的贝叶斯估计的贝叶斯估计的贝叶斯估计的贝叶斯估计δ δn n(x)(x)为后验分布为后验分布为后验分布为后验分布ππππ( ( ( (θθθθ|x)|x)|x)|x)的的的的                                        分位数分位数分位数分位数. .4.5 4.5 抽样抽样信息期望值信息期望值4.5.14.5.1、、基本概念基本概念   1.完全信息：对需要作决策的问题，假如决策者所获得完全信息：对需要作决策的问题，假如决策者所获得的信息足以肯定那一个状态即将发生，则该信息就称为的信息足以肯定那一个状态即将发生，则该信息就称为(该该状态的状态的)完全信息。

完全信息   2.完全信息期望值完全信息期望值(EVPI)(EVPI)：设某决策问题有：设某决策问题有n种状态种状态θθ1 1, ,θθ2 2, ,……, ,θθn n,且各种状态的先验概率且各种状态的先验概率ππ( (θθi i) )已知已知,又有又有m种行种行动动a a1 1,a,a2 2, ,……,a,am m设Qijij为出现为出现θθi i采取行动采取行动a aj j的收益，的收益，a′为为使使                      取得最大时的行动，则称取得最大时的行动，则称为完全信息期望值，记为为完全信息期望值，记为EVPIEVPI3.3.先验先验EVPIEVPI：在一个决策问题中：在一个决策问题中ππ( (θθ) )是状态集是状态集ΘΘ={={θθ} }上上的先验分布的先验分布 a′a′是先验期望准则下的最优行动，则在是先验期望准则下的最优行动，则在a′a′下下的损失函数的损失函数L(L(θθ, a′), a′)的先验期望的先验期望 称为完全信息先称为完全信息先验期望值，记为先验验期望值，记为先验EVPIEVPI4.4.两者的关系两者的关系: :5.例题例题:对给定对给定的的Q Q或或L L怎样计算怎样计算EVPIEVPI和先验和先验EVPIEVPI？？如：如：      是先验期望准则下的最优行动是先验期望准则下的最优行动4.5.2 4.5.2 抽样抽样信息期望值信息期望值1.定义：在一个贝叶斯决策问题中定义：在一个贝叶斯决策问题中, a′是先验期望准则下的最优是先验期望准则下的最优     行动，行动，     是后验风险准则下的最优决策函数。

则先验是后验风险准则下的最优决策函数则先验EVPI与与后验后验EVPI期望值的差称为抽样信息期望值，记为：期望值的差称为抽样信息期望值，记为：2.计算一个计算一个EVSI的基本步骤：的基本步骤：   第一步：计算先验第一步：计算先验EVPI；；   第二步：计算第二步：计算θθ的后验分布；的后验分布；   第三步：计算每个行动的后验期望损失第三步：计算每个行动的后验期望损失                    ；；   第四步：确定最优决策函数；第四步：确定最优决策函数；   第五步：计算后验第五步：计算后验EVPI；；   第六步：计算后验第六步：计算后验EVPI的期望值；的期望值；   第七步：计算抽样信息期望值第七步：计算抽样信息期望值4.5.3 4.5.3 案例案例分析分析      甲厂的某一零件由乙厂生产，每批甲厂的某一零件由乙厂生产，每批1000只，其次品率只，其次品率θθ的概率分布如下表所示：的概率分布如下表所示：甲厂在整机装配时，如发现零件是次品，必须更换，甲厂在整机装配时，如发现零件是次品，必须更换，每换一每换一只只，乙厂赔偿，乙厂赔偿2.20元的损失费，但也可以在送装前采取元的损失费，但也可以在送装前采取全部全部检查的办法，使每批零件的次品率降为检查的办法，使每批零件的次品率降为1%，但乙厂，但乙厂必须支必须支付付每只每只0.10元的检查费。

乙厂面临如下两种选择：元的检查费乙厂面临如下两种选择：         a1:一批中一件都不检查一批中一件都不检查         a2:一批中每件都检查一批中每件都检查若乙厂厂长想从每批中任取三只零件进行抽查，根据若乙厂厂长想从每批中任取三只零件进行抽查，根据不合格不合格品品个数来决定是采取行动个数来决定是采取行动a1还是行动还是行动a2 ，并想知道这样，并想知道这样能否能否带来更大的收益？带来更大的收益？θ 0.02 0.05 0.10π(θ) 0.45 0.39 0.16一、计算先验一、计算先验EVPI：：      支付函数：支付函数：由此的支付矩阵和损失矩阵：由此的支付矩阵和损失矩阵：计算每个行动下的先验期望损失：计算每个行动下的先验期望损失：                                由此得在先验期望准则下，由此得在先验期望准则下，a1是最优行动，是最优行动，则：先验则：先验EVPI=15.68 2. 2.计算计算计算计算          的的的的后验分布后验分布后验分布后验分布3.计算各行动的后验期望损失计算各行动的后验期望损失x 0 1 2 3m(x)0.8745 0.1176 0.0076 0.0002x 0 1 2 3θ1=0.020.4843 0.2202 0.0658 0.0028θ2=0.050.3824 0.4490 0.3684 0.0190θ3=0.100.1333 0.3308 0.5658 0.9782x 0 1 2 313.0634 32.4148 55.4484 95.863642.3642 22.5636 9.5532 0.44644. 4.确定最优决策函数：确定最优决策函数：确定最优决策函数：确定最优决策函数：5.计算后验计算后验EVPIEVPI：：x=0x=0时，后验时，后验EVPI=13.0634EVPI=13.0634 x=1 x=1时，后验时，后验EVPI=22.5636EVPI=22.5636 x=2 x=2时，后验时，后验EVPI=9.5532EVPI=9.5532 x=3 x=3时，后验时，后验EVPI=0.4494EVPI=0.44946.计算后验计算后验EVPIEVPI的期望值的期望值:7.计算抽样信息期望值：计算抽样信息期望值：                          EVSI=15.68-14.15=1.53EVSI=15.68-14.15=1.53思考：该厂长所确定的抽取三件产品检查，是否是最好？思考：该厂长所确定的抽取三件产品检查，是否是最好？注：注：EVSI和样本量和样本量n有关，有关，EVSI（（3））=1.53        若若n=1,抽一个进行检查，可得抽一个进行检查，可得        EVSI（（1））=0.63参考书参考书1.茆诗松，汤银才编著，贝叶斯统计茆诗松，汤银才编著，贝叶斯统计 （第二版（第二版 ），），中中国统计出版社国统计出版社 ，，20122.吴喜之，现代贝叶斯统计学，中国统计出版社，吴喜之，现代贝叶斯统计学，中国统计出版社，2000年年10月。

月3.张尧庭张尧庭 陈汉峰编著，贝叶斯统计推断，科学出版陈汉峰编著，贝叶斯统计推断，科学出版社，社，1991年年3月4.Berger，，J.O.，，Statistical decision theory and Bayesian analysis，，Second edition，，Springer-Verlag，，New York，，1985，中译本：统计决策理，中译本：统计决策理论及贝叶斯分析，贾乃光译，中国统计出版社，论及贝叶斯分析，贾乃光译，中国统计出版社，19985.James等著，贝叶斯统计学：原理、模型与应用，等著，贝叶斯统计学：原理、模型与应用，中国统计出版社，中国统计出版社，1992。