第二章-多元正态分布的参数估计要点课件.ppt

第二章 多元正态分布§2.1 多元正态分布的定义多元正态分布的定义§2.2 多元正态分布的性质多元正态分布的性质§2.3 复相关系数和偏相关系数复相关系数和偏相关系数§2.4 极大似然估计及估计量的性质极大似然估计及估计量的性质§2.5 和和(n − 1) S的抽样分布的抽样分布§2.1 多元正态分布的定义一元一元正态分布正态分布N(μ,σ2)的概率密度函数的概率密度函数为：为：若随机向量若随机向量 的概率密度函数为的概率密度函数为则称则称X服从服从p元正态分布元正态分布，记作，记作X~Np (μ, Σ)，其中，参数，其中，参数μ和和Σ分别为分别为X的均值和协差阵的均值和协差阵例例1（二元正态分布（二元正态分布 ））设设X~N2(μ, Σ)，这里，这里易见，易见，ρ是是X1和和 X2的相关系数当的相关系数当|ρ|<1时，可得时，可得X的概的概率密度函数为：率密度函数为：二元正态分布的密度曲面图 下图是当下图是当 时二元正态分布的钟形密时二元正态分布的钟形密度曲面图。

度曲面图二元正态分布等高线等高（椭圆）线：等高（椭圆）线：上述等高线上的密度值上述等高线上的密度值二元正态分布的密度等高线族（由10000个二维随机数生成） |ρ|越大，越大，长轴长轴越越长长 ，短，短轴轴越短，即越短，即椭圆椭圆越扁平；越扁平；|ρ|越小，越小，长轴长轴越短越短 ，短，短轴轴越越长长，即，即椭圆椭圆越越圆圆；；|ρ|=1时椭圆时椭圆退化退化为为一条一条线线段；段；|ρ|=0时时即即为圆为圆§2.2 多元正态分布的性质（（1）多元正态分布的特征函数是：）多元正态分布的特征函数是：（（2）设）设X是一个是一个p维随机向量，则维随机向量，则X服从多元正态分布，服从多元正态分布，当且仅当它的任何线性函数当且仅当它的任何线性函数 均服从一元正态分布均服从一元正态分布Ø性质（性质（2）常可用来证明随机向量服从多元正态分布常可用来证明随机向量服从多元正态分布3）设）设X~N p (μ, Σ)，，Y=CX+b其中其中C为为r×p 常数矩阵，则常数矩阵，则Ø该性质表明，（多元）正态变量的任何线性变换仍为该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。

多元）正态变量（（4））设设X~Np (μ, Σ)，则，则X的任何子向量也服从（多元）的任何子向量也服从（多元）正态分布，其均值为正态分布，其均值为μ的相应子向量，协方差矩阵为的相应子向量，协方差矩阵为Σ的的相应子矩阵相应子矩阵Ø该性质说明了多元正态分布的任何边缘分布仍为（多该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布元）正态分布Ø需注意需注意，随机向量的任何边缘分布皆为（多元）正态，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布分布未必表明该随机向量就服从多元正态分布§2.2 多元正态分布的性质正正态变态变量的量的线线性性组组合未必就是正合未必就是正态变态变量证明证明: 反证法若命题反证法若命题 “一元正态变量一元正态变量X1,X2, ⋯ ⋯,Xn的的一切线性组合一定是一元正态变量一切线性组合一定是一元正态变量” 成立，则由性成立，则由性质（质（2）知，）知，X1,X2, ⋯ ⋯,Xn的联合分布必为多元正态分布，的联合分布必为多元正态分布，于是命题于是命题“一元正态变量的联合分布必为多元正态分一元正态变量的联合分布必为多元正态分布布”成立，从而矛盾。

成立，从而矛盾§2.2 多元正态分布的性质 则（则（i）） ；； （（ii）） ；； （（iii）） 例例3 设设X~N4(μ, Σ)，，这这里里§2.2 多元正态分布的性质（（5）设）设X1,X2, ⋯ ⋯,Xn相互独立，且相互独立，且Xi~N p (μi, Σi) ，，i=1,2,⋯ ⋯,n，则对任意，则对任意n个常数，有个常数，有此性质表明，独立的多元正态变量（维数相同）的任意此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量线性组合仍为多元正态变量6）设）设X~N p (μ, Σ)，对，对X, μ, Σ(>0)作如下的剖分：作如下的剖分： 则子向量则子向量X1和和X2相互独立，当且仅当相互独立，当且仅当Σ12=0。

该性质指出，对于多元正态变量而言，其子向量之间互该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的不相关和相互独立是等价的7）设）设X~N p (μ, Σ), Σ>0，则，则例例4 设设X~N3(μ,Σ)，其中，其中则则X2和和X3不独立，不独立，X1和和(X2,X3)独立（（8）设）设X~N p (μ, Σ), Σ>0，作如下剖分，作如下剖分则给定则给定X2时时X1的条件分布为的条件分布为 ，其中，其中μ1·2和和Σ11·2分别是条件数学期望和条件协方差矩阵，分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵通常称为偏协方差矩阵这一性质表明，对于多元正态变量，其子向量的条件分布这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的仍是（多元）正态的例例5 设设X~N3(μ, Σ)，其中，其中试求给定试求给定X1+2X3时时 的条件分布的条件分布§2.3 复相关系数和偏相关系数 一、复相关系数一、复相关系数二、偏相关系数二、偏相关系数一、复相关系数相关系数度量了一个随机变量相关系数度量了一个随机变量x1与另一个随机变量与另一个随机变量x2之之间线性关系的强弱。

间线性关系的强弱复相关系数度量了一个随机变量复相关系数度量了一个随机变量X1与一组随机变量与一组随机变量X2, ⋯ ⋯,Xp之间线性关系之间线性关系的强弱将将X, Σ(>0)剖分如下：剖分如下： X1和和X2的线性函数的线性函数 间的最大相关系数称为间的最大相关系数称为 X1和和X2间的间的复复(或或多重多重)相关系数相关系数(multiple correlation coefficient)，记作，记作ρ1∙2,⋯ ⋯,p, 它度量了一个变量它度量了一个变量X1与一组与一组变量变量X2, ⋯ ⋯,Xp间的相关程度间的相关程度可推导出可推导出例例4 随机变量随机变量X1,⋯ ⋯,Xp的任一线性函数的任一线性函数F=l1X1+⋯ ⋯+ lp Xp与与X1,⋯ ⋯,Xp的复相关系数为的复相关系数为1证明证明:二、偏相关系数将将X, Σ(>0)剖分如下：剖分如下：称称 为给定为给定X2时时X1的的偏协方差矩偏协方差矩阵阵记 ，称，称 为为偏协方差偏协方差，，它是剔除了它是剔除了 的（线性）影响之后，的（线性）影响之后，Xi和和Xj之间的协方差。

之间的协方差给定给定X2时时Xi 和和Xj的的偏相关系数偏相关系数（（partial correlation coefficient））定义为定义为:其中其中 ρij∙k+1,⋯ ⋯,p度量了剔除度量了剔除Xk+1, ⋯ ⋯,Xp的（线性）影响之后，的（线性）影响之后，Xi和和Xj间相关关系的强弱间相关关系的强弱 对于多元正态变量对于多元正态变量X，由于，由于Σ11∙2也也是条件协方差矩阵，是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯ ⋯,p同时也度量了在同时也度量了在Xk+1, ⋯ ⋯,Xp值给定的条件下值给定的条件下Xi和和Xj间相关关系的强弱间相关关系的强弱 §3.5 和(N − 1)S2的抽样分布一、一、 的抽的抽样样分布分布二、二、 (n − 1)S的抽的抽样样分布分布一、 的抽样分布1.正态总体正态总体 设设X~Np (μ, Σ), Σ>0 ，，X1,X2, ⋯ ⋯,Xn是从总体是从总体X中抽取的一中抽取的一个样本，则个样本，则2.非正态总体（非正态总体（中心极限定理中心极限定理）） 设设X1,X2, ⋯ ⋯,Xn是来自总体是来自总体X的一个样本，的一个样本，μ和和Σ存在，当存在，当n很大且很大且n相对于相对于p也很大时，上式近似地成立。

也很大时，上式近似地成立    二、均值向量与协差阵的最大似然估计     三、估计量的性质1.1.无偏性无偏性2.2.有效性有效性3.3.一致性一致性4.4.充分性充分性充分充分统计量量1 充分性的概念充分性的概念例例1 为研究某种研究某种产品的合格品率，我品的合格品率，我们对该产品品进行行检查，从，从该产品中随机抽取品中随机抽取10件件进行行观测，，发现除第三、六件除第三、六件产品不合格外，其余品不合格外，其余8件件产品都是合品都是合格品这样的的观测结果包含了果包含了两两种信息：种信息：(1) 10件件产品有品有8件是合格品；件是合格品；(2) 2 件不合格品分件不合格品分别是第三和第六件是第三和第六件第二种信息第二种信息对了解了解该产品合格品率是没有什么帮助品合格品率是没有什么帮助的一般地，的一般地，设我我们对该产品品进行行n 次次观测，得到，得到 x1, x2,…, xn，，每个每个xj 取取值非非0即即1，合格，合格为1，不合，不合格格为0。

令令 T = x1+…+xn ，，T为观测到的合格品数到的合格品数在在这种种场合合仅仅记录使用使用T 不会不会丢失任何与合格品失任何与合格品率率     有关的信息，有关的信息，统计上将上将这种种“样本加工不本加工不损失信息失信息”称称为“充分性充分性”样本本￿ ￿x=(x1,x2,…,xn) 有一个有一个样本分布本分布F    (x)，，这个分布包含了个分布包含了样本中一切有关本中一切有关   的信息统计量量T =T (x1,x2,…,xn) 也有一个抽也有一个抽样分布分布F   T(t) ，，这个分布个分布包含了统计量包含了统计量T中一切有关中一切有关   的信息的信息. 当当我我们期望用期望用统计量量T 代替原始代替原始样本且不本且不损失任何有失任何有关关     的信息的信息时，也就是期望抽，也就是期望抽样分布分布 F   T(t) 像像￿ ￿F   (x) 一一样概括了有关概括了有关     的一切信息的一切信息. 这即是即是说在在统计量量 T 取取值为 t 的情况下的情况下样本本 x 的条件分布的条件分布F   (x|T=t) 已不含已不含     的信息，的信息，这正是正是统计量具有充量具有充分性的含分性的含义。

定定义 (充分统计量充分统计量) 设 x1, x2, …, xn 是来自某个是来自某个总体的体的样本，本，总体分布函数体分布函数为F ( x ;    )，，统计 量量 T = T(x1, x2, …, xn) 称称为     的充分的充分统计量，量，如果在如果在给定定T 的取的取值后，后，x1, x2,…, xn 的条件分的条件分布与布与    无关无关. .例例2 设总体体为二点分布二点分布 为样本本,令令 则T是是  的充分的充分统计量量;若若则S不是不是  的充分统计量的充分统计量. 下面我下面我们给出几个例子出几个例子, 根据定根据定义来来验证一个一个统计量是不是充分的量是不是充分的.在一般场合直接由定义出发验证一个统计量是充分在一般场合直接由定义出发验证一个统计量是充分统计量比较困难统计量比较困难. 奈曼奈曼(Neyman)给出了一个简单的判给出了一个简单的判别方法别方法---因子分解定理因子分解定理.充分性原充分性原则：： 在充分在充分统计量存在的量存在的场合，任何合，任何统计推断推断都都 可以基于充分可以基于充分统计量量进行，行，这可以可以简化化统计推断的程推断的程序序,称称该原原则为充分性原充分性原则. 四、WISHART分布   通过上面的理论分析知道，多元正态总体均值向量通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协和协差阵的最大似然估计分别是样本均值向量和样本协差阵。

利用差阵利用SPSS软件可以迅速地计算出多元分布的样软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵下面通过一个本均值向量、样本离差阵和样本协差阵下面通过一个实例来说明多元正态分布参数估计的实例来说明多元正态分布参数估计的SPSS实现过程实现过程 从沪深两市上市公司中随机抽取从沪深两市上市公司中随机抽取300家公司，取其家公司，取其三个反映收益情况的三个财务指标：每股收益率三个反映收益情况的三个财务指标：每股收益率（（eps）、净资产收益率（）、净资产收益率（roe）和总资产收益率）和总资产收益率（（roa）现要求对这三个指标的均值和协差阵进行估）现要求对这三个指标的均值和协差阵进行估计均值向量的估计在在SPSS中计算样本均值向量的步骤如下：中计算样本均值向量的步骤如下：1. 选择菜单项选择菜单项Analyze→Descriptive Statistics→Descriptives，打开，打开Descriptives对话框，如图对话框，如图2.1将待估计的三个变量移入右边的将待估计的三个变量移入右边的Variables列表框中列表框中图图2.1 Descriptives对话框对话框2. 单击单击Options按钮，打开按钮，打开Options子对话框，如图子对话框，如图2.2所示。

在对话框所示在对话框中选择中选择Mean复选框，即计算样本均值向量单击复选框，即计算样本均值向量单击Continue按钮返回主按钮返回主对话框图图2.2 Options子对话框子对话框3. 单击单击OK按钮，执行操作则在结果输出窗口中给出样本均值向量，按钮，执行操作则在结果输出窗口中给出样本均值向量，如表如表2.2即样本均值向量为（即样本均值向量为（0.175，，0.044，，0.026）表表2.2 样本均值向量样本均值向量协差阵的估计在在SPSS中计算样本协差阵的步骤如下：中计算样本协差阵的步骤如下：1. 选择菜单项选择菜单项Analyze→Correlate→Bivariate，打开，打开Bivariate Correlations对话框，如图对话框，如图2.3将三个变量移入右边的将三个变量移入右边的Variables列表列表框中 图图2.3 Bivariate Correlations对话框对话框2. 单击单击Options按钮，打开按钮，打开Options子对话框，如图子对话框，如图2.4选择Cross-product deviations and covariances复选框，即计算样本离差阵和样复选框，即计算样本离差阵和样本协差阵。

单击本协差阵单击Continue按钮，返回主对话框按钮，返回主对话框图图2.4 Options子对话框子对话框3. 单击单击OK按钮，执行操作则在结果输出窗口中给按钮，执行操作则在结果输出窗口中给出相关分析表表中出相关分析表表中Pearson Correlation给出皮尔逊给出皮尔逊相关系数矩阵，相关系数矩阵，Sum of Squares and Cross-products给给出样本离差阵，出样本离差阵，Covariance给出样本协差阵给出样本协差阵值得注意的是，这里给出的样本协差阵是值得注意的是，这里给出的样本协差阵是S/(n-1) ，而，而不是不是S/n 表表2.3 样本相关系数矩阵、离差阵与协差阵样本相关系数矩阵、离差阵与协差阵EXERCISES4.1; 4.3; 4.8；；4.13 ；； 4.14 ；；4.15；； 4.19；；4.35；；4.41。