高斯混合模型.doc

高斯混合模型（Gaussian Mixture Model, GMM）(2011-12-30 23:50:01) 标签： 校园分类： 工作篇 高斯混合模型 　　高斯模型就是用高 斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型对图像背景建立高斯模型的原理 及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计如果图像所包含的目标区域和背景区域相比比较大，且背 景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度对于复杂的图 像，尤其是医学图像，一般是多峰的通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题在智能监控系统中，对于运动目标的检测是 中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要而建模正是背景目标提取的一个重要环节　　我们首先要提起背 景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频 帧的背景。

即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清 晰，而高斯混合模型　　(GMM)是建模最为成功的方法之一　　英文翻译及缩写：Gaussian mixture model (GMM)　　　混合高斯模型使用K（基本为3到5个）个高斯模型 来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点通观整个高斯模型，他主要是有方差和均值两个参数决定，,对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收 敛性由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新为提高模型的学习能力,改进方法对均值和方差的更新采用不 同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类具体更新公式如下：　　μt= (1 - ρ)μt- 1 +ρxt (1)　　σ2t = (1 - ρ)σ2t- 1 +ρ( xt -μt ) T ( xt -μt ) (2)　　ρ =αη( xt | μκ,σκ ) (3)　　| xt -μt - 1 | ≤ 2. 5σt- 1 (4)　　w k , t = (1 - α) w k , t - 1 +αMk , t (5)　　式中ρ为学习率，即反映当前图像融入背景的速率。

　　建模过程中，我们 需要对混合高斯模型中的方差、均值、权值等一些参数初始化，并通过这些参数求出建模所需的数据，如马兹距离在初始化过程中，一般我们将方差设置的尽量大 些（如15），而权值则尽量小些（如0.001）这样设置是由于初始化的高斯模型是一个并不准确，可能的模型，我们需要不停的缩小他的范围，更新他的参 数值，从而得到最可能的高斯模型，将方差设置大些，就是为了将尽可能多的像素包含到一个模型里面，从而获得最有可能的模型部分代码如下：　　for(i=0; imean[j]; // calculate the squared distance, d = |v|^2 model[i]->dist2 = v[0]*v[0] + v[1]*v[1] + v[2]*v[2]; // zot: this is only equal to mahalanobis distance // when covariance matrix = vI // (v = scalar variance for all channels) model[i]->mah2 = model[i]->dist2 / model[i]->var; //即为马兹距离 // see if X is close enough to this model if (model[i]->mah2 < SFSquared) break; // the current pixel matches one of the K models //SFSquared是预定义的值 } 同时这时又产生了一个疑问，那么如何得知我们的模型是否超过预定义的模型数了呢？这便是我们设置权值的其中一个原因了。

根据大量的试验，我们得出当前面几 个模型数的权值之和在T值（一般设为0.75）之内时，效果最好，因此当我们将前面的模型权值相加，当超过0.75时便舍去后面的模型当然其中还有一个 重要的问题，我们是如何得知前面的模型是相对来说最有可能的模型，而非被舍去的模型呢？在这里我们首先要对各个模型的权值进行排序，按照权值与方差的比率 的从大到小，对模型进行排序由于一开始建立的模型肯定是不可靠的，在最后基本会被舍弃，因此我们在初始化的时候将初始模型的方差尽量大，而权值尽量小， 从而使最不可能的模型排在比较后面到这里为止，混合高斯模型的建模基本完成，我在归纳一下其中的流程，首先初始化预先定义的几个高斯模型，对高斯模型中 的参数进行初始化，并求出之后将要用到的参数其次，对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将其归入该模型中，并对该模型 根据新的像素值进行更新，若不匹配，则以该像素建立一个高斯模型，初始化参数，代理原有模型中最不可能的模型最后选择前面几个最有可能的模型作为背景模 型，为背景目标提取做铺垫 高斯混合模型（Gaussian Mixture Model, GMM）是语音信号处理中的一种常用的统计模型，该模型的一个基本理论前提是只要高斯混合的数目足够多，一个任意的分布就可以在任意的精度下用这些高斯混合的加权平均来逼近。

有限高斯混合模型可以以任意精度正逼近实数上的非负黎曼可积函数,特别可以逼近任意的概率分布密度函数高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型 对图像背景建立高斯模型的原理及过程：图像灰度直方图利用高斯混合模型实现概率密度函数逼近在图像处理中,经常需要知道图像的概率分布密度函数,然而图像的概率密度函数经常是很难准确求解的,通常的办法是通过某个已知的分布密度函数进行逼近,例如:高斯(Gaussian)分布、对数正态分布、伽玛分布、贝塔分布、指数分布、韦布尔分布、瑞利分布等,然而这类参数化分布密度要求是单峰形式,即只有一个极大值,而实际问题中,可能包含多峰的密度形式,在特征空间中往往表现为多种密度分布的混合,很难把这种复杂的分布通过单一的参数化密度函数表示出来[1]R.Wilson在文献[2]中讨论了多分辨率高斯混合模型的函数逼近能力在此基础上本文证明了有限高斯混合模型可以以任意精度正逼近实数上的非负黎曼可积函数,特别可以逼近任意的概率分布密度函数,并利用实例说明了有限高斯混合密度函数具有较强的逼近能力1 有限混合密度函数在图像处理领域,有限混合分布理论的方法就是将全部像素值拟合成一个加权混合的概率密度函数,使每个权重正是该对象的像素在整个像素集里 所占的比例。

高斯模型涉及均值(μ)和方差(σ2)的选择定义1有限混合密度模型假设数据x(x∈RP)来自多个分布的混合体论文题名】  利用高斯混合模型实现概率密度函数逼近 【英文题名】  Probability Density Function Approximation Using Gaussian Mixture Model 【 刊  名 】  无线电通信技术 【英文刊名】  RADIO COMMUNICATIONS TECHNOLOGY 【 分类号 】  TP301.6 【 作  者 】  李钊 【作者单位】  【 年卷期 】  2007年 33卷 02期 20-22页 【 关键词 】  高斯混合模型;函数逼近;概率密度函数;高斯分布 【基金名称】  国家自然科学基金 【 摘  要 】  针对图像的概率分布密度函数的不确定,利用有限高斯混合模型逼近图像的概率分布密度函数.理论上证明了有限高斯混合模型可以以任意精度正逼近实数上的非负 黎曼可积函数,特别可以逼近任意的概率分布密度函数.实例表明有限高斯混合模型逼近已知分布密度函数或未知分布密度函数时,具有逼近精度高等优点,为函数 逼近提供了理论和技术支持. 利用高斯混合模型实现概率密度函数逼近袁礼海  李钊  宋建社 【摘要】：针对图像的概率分布密度函数的不确定,利用有限高斯混合模型逼近图像的概率分布密度函数。

理论上证明了有限高斯混合模型可以以任意精度正逼近实 数上的非负黎曼可积函数,特别可以逼近任意的概率分布密度函数实例表明有限高斯混合模型逼近已知分布密度函数或未知分布密度函数时,具有逼近精度高等优 点,为函数逼近提供了理论和技术支持作者单位】： 第二炮兵工程学院导弹工程研究所 驻石家庄地区军事代表室 第二炮兵工程学院导弹工程研究所【关键词】： 高斯混合模型 函数逼近 概率密度函数 高斯分布【基金】：国家自然科学基金(60272022)【分类号】：TP391.41【正文快照】：0引言在图像处理中,经常需要知道图像的概率分布密度函数,然而图像的概率密度函数经常是很难准确求解的,通常的办法是通过某个已知的分布密度函数进行逼 近,例如:高斯(Gaussian)分布、对数正态分布、伽玛分布、贝塔分布、指数分布、韦布尔分布、瑞利分布等,然而这类参数化分布   高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种1）单高斯模型：为简单起见，阈值t的选取一般靠经验值来设定通常意义下，我们一般取t=0.7-0.75之间二维情况如下所示：（2）混合高斯模型：       对于(b)图所示的情况，很明显，单高斯模型是无法解决的。

为了解决这个问题，人们提出了高斯混合模型（GMM），顾名思义，就是数据可以看作是从数个高斯分布中生成出来的虽然我们可以用不同的分布来随意地构造 XX Mixture Model ，但是 GMM是 最为流行另外，Mixture Model 本身其实也是可以变得任意复杂的，通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布    每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数：                 （1）其中，πk表示选中这个component部分的概率，我们也称其为加权系数根据上面的式子，如果我们要从 GMM 的分布中随机地取一个点的话，实际上可以分为两步：（1）首先随机地在这 K 个 Component 之中选一个，每个 Component 被选中的概率实际上就是它的系数 πk，选中了 Component 之后，再单独地考虑从这个 Component 的分布中选取一个点就可以了──这里已经回到了普通的 Gaussian 分布，转化为了已知的问题。

假设现在有 N 个数据点，我们认为这些数据点由某个GMM模型产生。