基于密度核估计的最大熵方法改进探析.docx

基于密度核估计的最大熵方法改进探析 摘要：基于最大熵方法的随机变量统计模型，可以确定出一个含有最少主观假定的分布针对传统最大熵方法在拉格朗日优化计算中存在的全局优化困难、求解精度不高等问题，提出了一种基于“核密度+逐次叠加法〞求解最大熵的方法通过验证，对密度核估计最大熵方法的改进，不仅优于非参数方法中的密度核估计方法，也提高了传统最大熵算法的精度关键词：最大熵方法;密度核估计;逐次叠加算法;概率密度估计20210引言1948年香农〔C.Shannon〕提出了一系列关于信息的数学理论，信息熵的概念应运而生信息熵用于描述随机变量的不确定性，不确定性越大，熵越大最大熵原理，是指在信息不完备的情况下，选择出熵最大的一种概率分布模型最经典的最大熵求解方法是拉格朗日乘子法，但由于拉格朗日优化函数的高度非线性，使结果不容易收敛，甚至有时会出现不严格可积现象因此，本文提出基于“核密度+逐次叠加法〞求解最大熵的方法，简化了经典求解方法中的优化问题1最大熵方法概述以最大熵原理为根底的技术已广泛应用于检测变量的随机性Alwan、Das等人提出了通过最大熵方法构建控制图的思想Soize利用最大熵原理有效构造了向量值随机变量高维概率分布。

Bouzouba等人通过最大熵原理得出了真实模型阶数和真实噪声协方差的最小均方误差〔MSE〕方法方法2密度核估计的最大熵方法的优化算法在数值求解方法中，初值的选择尤为重要本文提出采用逐次叠加法进行优化求解逐次叠加法是一種序列更新方法，是将矩约束逐次从低阶矩合并到高阶矩，并依次更新初值的迭代方法由核函数性质，将权重αj做如下变换：3数值分析利用四种典型分布验证改进的KDE-MEM法的有效性，包括正态分布和偏态分布通过MonteCarlo方法生成随机样本，并与传统的KDE-MEM法和非参数分析中核平滑密度估计法进行比照分析在模型计算过程中，矩的选择尤为重要Abramov研究说明，建议使用4-6阶样本矩，因此本文选择前4阶矩改进的KDE-MEM法对常见概率分布类型的分析本节利用正态分布、偏态分布的几种典型分布进行验证分析，样本分别服从于标准正态分布N〔0，1〕、对数正态分布LogN〔0，0.252〕、威布尔分布W〔1.5，6〕、卡方分布χ2〔5〕取各分布的200个随机样本的前4阶矩，通过改进的KDE-MEM法进行参数优化求解，求得概率密度函数，并画出与理论曲线的比照图图1显示，在小样本情况下，改进的KDE-MEM法表现出很高的拟合精度，与理论概率密度曲线十分吻合，可见改进的KDE-MEM法具有通用性。

改进的KDE-MEM法与传统方法的精度比照以对数正态分布和威布尔分布为例，对改进的KDE-MEM法进行具体计算分析分别计算各参数优化的结果〔表1〕，并画出比照概率密度图〔图2〕从图2中可以明显看出，不同方法计算的概率密度曲线的误差各不相同，为方便比较，表2列出不同方法计算的概率密度函数的均方误差〔MSE〕，求解公式见式〔9〕核密度估计法是一种传统的非参数方法，采用核平滑密度估计法分别对这两个分布的随机样本进行核密度估计，窗宽分别取hLogN=0.0229和hW=0.0991，核密度估计图见图2，比照说明，改进的KDE-MEM法明显提高了传统核密度估计法的精度4结论〔1〕通过验证，改进的KDE-MEM法具有通用性和有效性基于密度核估计最大熵方法的思想，引入逐次叠加法，通过实现逐次引入样本矩，实现了初值的更新迭代，与传统方法相比，优化过程更容易收敛，计算精度更高〔2〕密度核估计最大熵方法，用核估计pn〔x〕代替拉格朗日乘子法中的p〔x〕，降低了拉格朗日优化法的复杂程度，提高了最大熵方法的适用性，同时保证了目标函数的收敛性，防止了求解过程中不严格可积的问题〔3〕核估计是非参数估计方法之一，本文将密度核估计和最大熵方法相结合，仅采用随机样本的前4阶矩进行逐级优化计算，更便于数据的记忆储存，同时提高了寻优过程的稳定性。

参考文献【1】冯利华，李凤全.基于最大熵原理的灾害损失分析[J].数学的实践与认识，2021，35〔8〕：73-77.【2】王惠娟，肖新平.基于最大熵原理的测量不确定度商概率建模及计算[J].数学的实践与认识，2021，46〔13〕：201-207.【3】AlibrandiU，RicciardiG.Efficientevaluationofthepdfofarandomvariablethroughthekerneldensitymaximumentropyapproach[J].InternationalJournalforNumericalMethodsinEngineering，2021，75〔13〕：1511-1548.【4】吴福仙，温卫东.极大似然最大熵概率密度估计及其优化解法[J].南京航空航天大学学报，2021，49〔1〕：110-116.方法[J].工程数学学报，2021，28〔3〕：285-292.【6】AlwanLC，EbrahimiN，SoofiES.Informationtheoreticframeworkforprocesscontrol[J].EuropeanJournalofOperationalResearch，1998，111〔3〕：526-542.【7】DasD，ZhouS.Statisticalprocessmonitoringbasedonmaximumentropydensityapproximationandlevelsetprinciple[J].AIIETransactions，2021，47〔3〕：15.[8]SoizeC.Constructionofprobabilitydistributionsinhighdimensionusingthemaximumentropyprinciple：Applicationstostochasticprocesses，randomfieldsandrandommatrices[J].InternationalJournalforNumericalMethodsinEngineering，2021，76〔10〕：1583-1611.[9]BouzoubaK，RadouaneL.Imageidentificationandestimationusingthemaximumentropyprinciple[J].PatternRecognitionLetters，2000，21〔8〕：691-700.[10]Abramov，R.Animrovedalgrotithmforthemultidimensionalmomentconstrainedmaximumentropyproblem[J].ComputPhys，2021，226〔1〕：621-644.。