LDA算法详解上课讲义

1、线性鉴别分析法线性鉴别分析（Linear Discriminant Analysis, LDA），有时也称 Fisher 线性判别（Fisher Linear Discriminant ,FLD）， 这种算法是 Ronald Fisher 于 1936年发明的，是模式识别的经典算法i在1996年由Belhumeur引入模式识 别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴 别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式 样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最 佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影 后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够 保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式 在该空间中有最佳的可分离性。3.2.1 Fisher 线性判别准则假设有一组属于两个类的n个d维样本X，.，X，其中前n个样本属1n1于类o ，后面n个样本属于类o，均服从同协方差矩阵的高斯分布。各类样1 2 2本均值向量m （i=1，2）

2、如式（3-15）：im =丄 Z X i=1，2（3-15）ini xeXt样本类内离散度矩阵s和总的类内离散度矩阵s如式（3-16）、式（3-17）iw3-16)3-17)3-18)S = m z （x 一 m ）（x 一 m ）ti iii養Xts =s +sw12t样本类间离散度矩阵S如式（3-18）：bS = （m 一m ）（m 一m ）Tb 1 2 1 2现寻找一最佳超平面将两类分开，则只需将所有样本投影到此超平面的法线方向上 o G Rd,|w|=l：y = WT Xi=l,，n(3-19)ii得到n个标量 y,., y WR,这n个标量相应的属于集合Y和Y，并1 n 1 2 且Y和Y能很好的分开。12为了能找到这样的能达到最好分类效果的投影方向w, Fisher规定了一个准则函数：要求选择的投影方向W能使降维后Y和Y两类具有最大的类间距离 12与类内距离比：(w)(m1-m 2)23-20)S12 + S 22其中类间距离用两类均值m和丁之间的距离表示，类内距离用每类样本12距其类均值距离的和表示，在式中为s+s 2。其中m (i=1，2)为降维后各类样本均值：ii=1，

3、23-21)m =丄工yi n /i y=1.iS .2(i=1,2)为降维后每类样本类内离散度，S12 + S为总的类内离散度s :i12ws2 丄(y - m )2，ii2 2s =s 2+s 2w12i=1，23-22)3-23)类间离散度表示为(mm)2。但式(3-20)Fisher准则函数并不是w的显示函数，无法根据此准则求解W,因此需要对Fisher准则函数形式进行修改：因 y 二 wtxiii=1,，n，则i=1,23-24)丁 =丄工y =丄工 wTX =wT mi n / nii y=Y . i xgXt(m-m)2 =(wTm-wTm)2=wt(m m)(m1-m2)tw1 2 1 2 1 2 1 23-25)= wT s wb同样s 2i(i=l, 2)也可推出与w的关系:s .2 =工(y - m .)2 =工(wTxwTm .)2 xeXt=wt工(x-m)(x-m.)Tw=wtS w xeXt3-26)因此2 2S1 +S 2则最终可表示为:=wt(S + S )w二 wtS ww3-27)12(w)=F(m m 2)22 2Sl+ s 2wT s wb W

4、tS ww3-28)根据式(3-28)Fisher准则函数,要寻找一投影向量W,使J (w)最大化,F则需对J (w)按变量W求导并使之为零:wT s wQ ( b ) d J (w)wT S wF=wdwdwS w(wT S w) - S w(wT S w) bwwb = 0ww (wT s w)2 w3-29)则需s w(wT s w)bw-sww ( wT s w )=0bWS这是一个广义特征值问题,若 s 非奇异,则 w3-30)(w) s wFw令J (w)三九，则F3-31)3-32)WS -1 S因此可以通过对s -1 s进行特征值分解，将最大特征值对应的特征向量作 wb为最佳投影方向W。以上 Fisher 准则只能用于解决两类分类问题，为了解决多类分类问题，Dudal提出了判别矢量集的概念，被称为经典的Fisher线性判别分析方法。Duda指出，对于c类问题，则需要c-1个上节的用于两类分类的Fisher线 性判别函数，即需要由c-1个投影向量W组成一个投影矩阵WW Rdxc-1，将样本 投影到此投影矩阵上，从而可以提取c-1维的特征矢量。针对c类问题，则样本 的统计特

5、性需要推广到c类上。样本的总体均值向量：m工x工 nmi=1,，C（3-33）n n i ixi=1样本的类内离散度矩阵：S =另工（x - m）（ x 一 m.）T（3-34）w i iI=1 xGX t样本的类间离散度矩阵：S =lLn （m 一m）（m 一m）T（3-35）biiii=1将样本空间投影到投影矩阵W上，得到C-1维的特征矢量y：y= xW T（3-36）其中WGRdxc-1，ye Rc-1。投影后的样本统计特性也相应的推广到c类: 投影后总样本均值向量：m =-工y =-工nmi=1, -c （3-37）n n i iyi =1样本的类内离散度矩阵：S =工 工（y -m）（ym）（3-38）Wiii=1 yGY i样本的类间离散度矩阵：s = Yn（ mm）（ m 一 m）T（3-39）biiiFisher准则也推广到c类问题:J (W )=FS* =W tS wWtSw为使Fisher准则取得最大值，类似两类分类问题，W需满足:S W 二九 S W(341)bW若s非奇异，贝V,则w的每一列为S-1S的前c-1个较大特征值对应的特 WW b征向量。3.2.2 基

6、于 LDA 的人脸特征提取线性判别式分析iiQLinear Discriminant Analysis, LDA),也叫做 Fisher 线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是 在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思 想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特 征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小 的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征 抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时 类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的 类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。LDA算法的 思想如下:假设对于一个Rn空间有m个样本分别为x ,x ,x即每个x是一个n行的1 2 m矩阵，其中 n 表示属于 i 类的样本个数，假设有一个有 c 个类，则 in + n +. + n + n = m。S是类间离散度矩阵，S是类内离散度矩

7、阵，n是12icbwi属于i类的样本个数，x是第i个样本，u是所有样本的均值，u是类i的样本ii均值。那么类i的样本均值为1u = 工 x(342)ini xeclassi同理我们也可以得到总体样本均值为1mU =乙 Xmii=1根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子S =工 n (u u)(u u)tbi iii=13-44)S =工工(u - x )(u - x )twi k i ki=1 x eclassik当然还有另一种类间类内的离散度矩阵表达方式3-45)S =工 P (i )(u u )(u u) tbiii=13-46)S =)工(u x)(u x)t=工P(i)E(u x)(u x)t|x e classi(347)wni k i kiii=1i x eclassii=1k其中P(i)是指i类样本的先验概率，即样本中属于i类的概率(P(i)二n )。 mLDA 作为一个分类的算法，我们当然希望它所分的类之间耦合度低，类内的 聚合度高，即类内离散度矩阵的中的数值要小，而类间离散度矩阵中的数值要大， 这样的分类的效果才好。这里我们引入Fisher鉴别准则表

8、达式：fisher申tS申 B - 申TS申 w348)通过最优化下面的准则函数找到有一组最优鉴别矢量构成的投影矩阵W ， opt|WTSW|W = arg max b 一 叨I WtS W Iw= w , w ,., w 12 n349)可以证明，当S为非奇异(一般在实现LDA算法时，都会对样本做一次PCAw算法的降维，消除样本的冗余度，从而保证S是非奇异阵，当然即使S为奇异 ww阵也是可以解的，可以把S或S对角化，这里不做讨论，假设都是非奇异的情 wb况)时，最佳投影矩阵W 的列向量恰为下来广义特征方程optS = XS 9(3-50)bw由（3-50）式可以推导出S甲=九S甲（3-51）b i i w i又由于W二2 ,Q，,Q ，再结合以上两式可以求出1 2 dIQ TS Q |1 QT 九 s Qi 1 九 | Q TS Q |max = i b i = iwl = i i w i =九（3一52）|QTS Q|QTS Q |QTS Q | ii wi w ii w i根据公式意义来看，要使得max最大，则只要取九即可，所以可得出结论：投影i矩阵W 的列向量为d个最大特征值所对应的特征向量，其中d c-1。opt3.3Fisherface 人脸识别方法Fisherface 方法也称为 Fisher 线性判别分析（Fisher Linear Discriminant Analysis，FLDA），是由P.N. Belhumeur等人在1997年提出的。研究者注意到 特征值大的特征向量（即特征脸）并不一定是分类性能最好的方向，Fisherface 方法的目的就是要从高维特征空间里提取出最具有判别能力的低维特征，这些特 征能帮助将同一个类别的所有样本聚集在一起，而不同类别的样本尽量的分开， 也就是说，它选择使得样本类间离散度和样本类内离散度的比值最大的特征。Fisherfa

《LDA算法详解上课讲义》由会员大米分享，可在线阅读，更多相关《LDA算法详解上课讲义》请在金锄头文库上搜索。