第四章 矢量量化技术.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,,,‹#›,第四章 矢量量化技术,4.1,概述,4.2,矢量量化的基本原理,4.3,矢量量化的失真测度,4.4,矢量量化器的最佳码本设计,4.5,矢量量化技术的优化设计,,,,,,,,,,4.1,概述,,矢量量化（,Vector Quantization,，,VQ,）技术是,20,世纪,70,年代后期发展起来的一种数据压缩和编码技术，广泛应用于语音编码、语音合成、语音识别和说话人识别等领域矢量量化在语音信号处理中占有十分重要的地位，在许多重要的研究课题中，矢量量化都起着非常重要的作用4.2,矢量量化的基本原理,,一、矢量量化的基本原理,二、矢量量化在语音识别中的应用,,三、矢量量化的关键之处,一、矢量量化的基本原理,1,、矢量的定义,若干个标量数据组成一个矢量，标量的个数就为矢量的维数如语音信号某一帧中提取的声道参数，共,K,个，,X,i,={a,i1,,a,i2,,…,a,iK,},则,X,i,是一个,K,维矢量设共有,N,个,K,维矢量,X={X,1,,X,2,,…,X,N,},,其中第,i,个矢量为,X,i,，,i=1,2,…N,。

类比过来，,N,个语音帧，每帧中共有,K,个声道参数，共组成,N,个,K,维矢量一、矢量量化的基本原理,2,、矢量空间的划分,,把,K,维欧几里德空间 无遗漏的划分为,J,个互不相交的子空间,R,1,,R,2,…,R,J,,,这些子空间,R,j,称为胞腔在每一个子空间,R,j,找一个代表矢量,Y,j,，则,J,个代表矢量可以组成矢量集为,Y={Y,1,,Y,2,,,…,,Y,J,},,这样就组成了一个矢量量化器，在矢量量化里,Y,叫做码书或码本；,Y,j,称为码矢或码字；,Y,内矢量的个数,J,则叫做码本长度或者码本尺寸一、矢量量化的基本原理,3,、矢量量化的过程,,当给矢量量化器输入一个任意矢量,,进行矢量量化时，矢量量化器首先判断它属于哪个子空间,R,j,，然后输出该子空间,R,j,的代表矢量,Y,j,矢量量化过程就是用,Y,j,代替,X,i,的过程，或者说把,X,i,量化成了,Y,j,，即,,,Y,j,＝,Q(X,i,),，,1,,j,,J,，,1,,i,,N,,式中，,Q(X,i,),为量化器函数从而矢量量化的全过程完成一个从,K,维欧几里德空间 中的矢量,X,i,到,K,维空间有限子集,Y,的映射,Q,：,,一、矢量量化的基本原理,4,、判断规则,当给矢量量化器输入一个任意矢量,X,i,进行矢量量化时，首先要选择一个合适的失真测度，而后根据最小失真原理，分别计算用各码矢,Y,j,代替,X,i,所带来的失真。

其中产生最小失真的那个码矢,Y,j,，就是,X,i,的重构矢量（或称恢复矢量），或者称为矢量,X,i,被量化成了那个码矢二、矢量量化在语音识别中的应用,,矢量量化技术在语音识别中应用时，一般是先用矢量量化的码本作为语音识别的参考模板，即系统词库中的每一个字（词）做一个码本作为该字（词）的参考模板识别时对于任意输入的语音特征矢量序列,X,1,,X,2,,…,X,N,，,计算该序列对每一个码本的总平均的失真量化误差，即语音每一帧特征矢量与码本的失真之和除以该语音的长度（帧数）总平均失真误差最小的码本所对应的字（词）即为识别结果，这一过程如下图所示二、矢量量化在语音识别中的应用,三、矢量量化的关键之处,1,、,设计一个好的码本,关键在于如何划分,J,个区域边界这需要大量的输入信号矢量，经过统计实验才能确定，这个过程称为,“,训练,”,或,“,学习,”,应用聚类算法，按照一定的失真度准则，对训练的数据进行分类，从而把训练数据在多维空间中划分成一个个以码字为中心的胞腔，常用的是,LBG,算法来实现三、矢量量化的关键之处,2,、未知矢量的量化,对未知矢量，按照选定的失真测度准则，把未知矢量量化为失真测度最小的区域边界的中心矢量值（码字矢量），并获得该码字的序列号。

其次是未知矢量量化时的搜索策略，好的搜索策略可以减少量化时间4.3,矢量量化的失真测度,,一、失真测度的定义,,二、欧氏距离测度,,三、线性预测失真测度,,四、识别失真测度,一、失真测度的定义,失真测度（距离测度）就是将输入矢量,X,i,用码本重构矢量,Y,j,来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模型矢量之间的相似程度K,维语音特征矢量,X,和码本,Y,的失真测度,d(X,Y),需满足下列条件：,1,）对称性,d(X,Y),＝,d(Y,X),2,）正值性,d(X,Y)>0,；,d(X,X)=0,3,）,d(X,Y),在频域有物理意义,4,）对,d(X,Y),有高效率的计算方法,最常用的失真测度是欧氏距离测度、加权欧氏距离测度、识别失真测度等二、欧氏距离测度,,设未知模式的,K,维特征为,X,，与码本中某个,K,维码矢,Y,进行比较， ， 分别表示,X,和,Y,的同一维分量,( ),，,则几种常用的欧氏距离测度如下：,1,）均方误差欧氏距离,,,这里， 的下标,2,表示平方误差2,）,r,方平均误差,,,二、欧氏距离测度,,3,）,r,平均误差,,,4,）绝对值平均误差,,,5,）最大平均误差,,,,二、欧氏距离测度,,6,）加权欧氏距离测度,,,,式中，,,称为加权系数。

常用的加权系数有,,,三、线性预测失真测度,当语音信号特征矢量是用线性预测方法求出的,LPC,系数时，为了比较用这种参数表征的矢量，不宜直接使用欧氏距离因为，仅由预测器系数的差值不能完全表征这两个语音信息的差别此时应直接使用由这些系数所描述的信号模型的功率谱来进行比较I-S,距离适用于,LPC,参数描述语音信号的情况当预测器的阶数 ，信号与模型完全匹配，信号功率谱,,,式中， 表示信号的功率谱， 为预测误差功率， 为预测逆滤波器的频率响应三、线性预测失真测度,,相应地，设码本中某重构矢量的功率谱为,,,,则可定义,I-S,距离如下：,,,,式中 ；,R,是 阶的自相关矩阵，而,,,,,三、线性预测失真测度,,这里,,，,,其中，,N,为信号 的长度， 为信号的自相关函数，,,为预测系数的自相关函数是码书重构矢量的预测误差功率,,,,,,三、线性预测失真测度,又推导出以下两种线性预测的失真测度，它们比上述 具有更好的性能1,）,对数似然比失真测度,,,,2,）,模型失真测度,四、识别失真测度,将矢量量化技术用于语音识别时，对失真测度还应有其他的一些考虑。

例如，对两矢量的功率谱的比较在使用,LPC,参数的似然比失真测度时，还应考虑到能量因为研究表明，频谱与能量都携带有语音信号的信息为此，可采用如下的失真度定义,,,式中， 及 分别为输入信号矢量和码书重构矢量的归一化能量 可取为,,,,,,4.4,矢量量化器的最佳码本设计,,一、最佳码本设计的原则,,二、,LBG,算法,,三、初始码本的生成,一、最佳码本的设计原则,所谓最佳设计，就是从大量信号样本中训练出好的码本；从实际效果出发寻找到好的失真测度定义公式；用最少的搜索和计算失真的运算量，来实现最大可能的平均信噪比最佳码本设计的两条原则,1,）遵从最邻近准则，即,,2,）,所有选择码字,Y,l,的输入矢量,X,的集合为,S,l,，那么,Y,l,是,S,l,中所有矢量的质心，即,,,二、,LBG,算法,,LBG,算法是一种递推算法，从一个事先选定的初始码本开始迭代若以欧氏距离计算两个矢量的畸变，那么,LBG,的算法思想是：把训练序列按照码本中的码矢根据最邻近准则分组，对每一分组找质心，得到新的码本，又作为初始码本，再进行分组，重复上述过程，直到系统性能满足要求和不再有明显的改进为止三、初始码本的生成,1,、随机选取法,从训练序列中随机的选取,J,个矢量作为初始码字，从而构成初始码本。

优点是简单，不需要初始化计算问题是可能选到一些非典型的矢量作为码字，使最终设计的码本达不到最优三、初始码本的生成,2,、分裂法,,步骤如下,1,）首先求出,S,中全体训练矢量,X,的质心作为初始化码本的码字 2,）将 分裂为新的初始码本 、 ，利用,LBG,算法进行迭代计算，求得新码本 、 3,）重复上面的循环，经过,r,次后，最终码书容量 三、初始码本的生成,3,、链映射法,,步骤如下：,1),特征空间各矢量按规律排序：在待聚类的点中先任选一点，称为,X,1,，排作首位；求其最邻近点称为,X,2,，列为第二位，以此类推，则得一矢量序列,X,1,，,X,2,，,…,，,X,N,2),设,X,i,,X,i-1,间的距离为,d,i,，则得距离序列,d,1,，,d,2,…d,N-1,做出的关系图，这个图称为这批特征点的“链映射图”3),链映射图尖峰状的位置代表特征性质有突变的位置，故可以把在每两相邻峰值之间的各点归为一类4.5,矢量量化技术的优化设计,上面介绍的矢量量化技术用于语音信号处理时有其局限：,实时性的问题,码本优化问题,,降低复杂度的优化设计方法：引入模糊理论,,,模糊,c,均值聚类算法,模糊,c,均值聚类算法目标函数为如下式所示：,,(4-29),,,其中， 为某一训练观察矢量序列； 为各类聚中心组成的码本； 为一个模糊,c,均值隶属度函数集，是第,k,个类聚中心即第,k,个码字的隶属度函数； 代表模糊度。

模糊,c,均值聚类算法,根据目标函数的模糊,c,均值类聚算式如下：,,,,,(4-30),模糊,c,均值聚类算法,模糊矢量量化码本估计的步骤如下：,1,）设定初始码本和每个码字的初始隶属度函数 ，为了方便可以令每个码字的初始隶属度函数为相等的值；,2,）对于训练观察矢量序列 ，利用式（,4-30,）计算新的聚类中心 及新的隶属度函数 ；,3,）利用式（,4-29,）的目标函数，判断迭代计算是否收敛如果前后差值小于某个阈值，则迭代计算结束，由新的聚类中心和隶属度函数集组成重估后的新码本；否则继续进行下一轮迭代计算模糊,c,均值聚类算法,模糊矢量量化的步骤如下：,,1,）对于待矢量量化的输入矢量 ，模糊矢量量化不是通过矢量量化把输入矢量 量化成为某个码字 ，而是把输入矢量 量化成由隶属度函数组成的矢量,,，,它表示 分别属于码字 的程度是多少；其中 由下式给定：,,,,2,）这时 的量化误差由下式给定：,,,,,模糊,c,均值聚类算法,,,,3,） 的重构矢量由下式给定：,,,,,可见 的重构矢量由码字 的线性组合组成。