现代信号处理03——自适应信号处理

1,第三章 自适应信号处理,周围,2,内 容,梯度下降算法 横向LMS自适应滤波器 横向RLS自适应滤波器 自适应格型滤波器 盲自适应滤波器 自适应滤波器的应用,自适应FIR滤波器：,定义输入向量,输入信号：,输出信号：,期望信号（参考信号或训练信号）：d(n),抽头权矢量：,输出误差信号：,最优权矢量：,均方误差性能曲面及其性质,输入信号的自相关矩阵：,互相关矩阵,与FIR维纳滤波器的最优解一致。,均方误差函数（代价函数）,几何意义,对二维实加权情况：,均方误差性能函数：,为求得等高线令,10,定义输入向量,输出信号：,复加权矢量：,输出误差信号：,定义输入向量,其中空间自相关矩阵：,最优加权矢量：,互相关矩阵,13,最陡（梯度）下降算法,梯度的数学表示：,相对于 向量 的梯度算子记作 ，定义为,因此，一个实际量函数 相对于一列向量的梯度为,14,最陡（梯度）下降算法（续）,梯度的几何特征,梯度的每个分量给出了标量函数在该分量方向上的变化率。,梯度的重要性质,指出了当变元增大时函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。,15,定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。,最陡（梯度）下降算法,梯度下降算法的迭代过程：,近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率。,梯度：,故,坐标平移,最陡（梯度）下降算法,坐标旋转去耦合,由初始权向量迭代可得：,（变量间无耦合）,或表为,因为,最陡（梯度）下降算法,若满足：,实际常用（保守的）收敛条件：,则有：,则有：,或,最陡（梯度）下降算法（续）,过渡过程,令：,则,其中权向量时间常数,（1）权向量过渡过程,（2）均方误差过渡过程,其中均方误差时间常数,最陡（梯度）下降算法（续）,（3）特征值分散对过渡过程的影响,均方误差和权矢量的分量均按M个不同时间常数 的指数函数之和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：,为了保证收敛，步长 ，故有：,当特征值分散性大（条件数大）时，算法最陡下降法收敛性很差。,最陡（梯度）下降算法（续）,梯度下降算法（续）,（4）步长µ对过渡过程的影响,22,内 容,最优滤波理论与Wiener滤波器 梯度下降算法 横向LMS自适应滤波器 横向RLS自适应滤波器 自适应格型滤波器 盲自适应滤波器 自适应滤波器的应用,23,自适应滤波基本原理,自适应滤波器包括两个过程：滤波过程和自适应过程。 此仅考虑后者,即滤波器的自适应实现问题；且主要考虑 FIR滤波器的自适应实现，其关键是自适应算法。 FIR滤波器的自适应实现指的是：M 阶FIR滤波器的抽 头权系数w1,wM-1可以根据估计误差e(n)的大小自动调 节，使得误差在某个统计最优准则下最小。 滤波器设计最常用的准则：MMSE准则，即是使滤波器 实际输出y(n)与期望响应d(n)之间的均方误差 最小; 最终达到Wiener解。,24,自适应滤波基本原理（续）,最广泛使用的自适应算法是“下降算法”,式中w(n)为第n步迭代(亦即时刻n)的权向量， 为第n步 迭代的更新步长，v(n)为第n步迭代的更新方向(向量),下降算法的两种实现方式 - 自适应梯度算法：LMS算法及其改进算法 - 自适应高斯牛顿算法：RLS算法及其改进算法 本节介绍LMS类算法，下一节介绍RLS类算法。,25,最小均方（LMS）滤波器,最陡下降法：,随机优化问题：,Wiener滤波器：,真实梯度,26,LMS滤波器（续）,缺点：真实梯度含数学期望，不易求得。,梯度估计,改进：,瞬时梯度：,先验估计误差,27,LMS滤波器（续）,基本LMS算法：,瞬时梯度分析：,最陡下降法,LMS算法,搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。,搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,28,LMS滤波器（续）,梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立。,LMS算法的独立性要求：,要求不同时间的输入信号向量 线性独立（因为瞬时梯度向量为 ）。,29,LMS滤波器（续）,自适应学习速度参数及收敛性,（3）“换档变速”方法：固定时变,（2） 时变学习速度： （递减），模拟退火法则,30,LMS滤波器（续）,例1. （先搜索，后收敛）,例2. （先固定，后指数衰减）,（4）自适应学习速度：“学习规则的学习”,和 正的常数,31,而且可以证明LMS自适应滤波器的权向量收敛于维纳解：,(5) 算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:,LMS滤波器（续）,32, 若 自适应产生，则称为自适应步长的LMS算法,LMS算法的几种变形, 若 常数，则称为基本LMS算法, 若 , 则称为归一化LMS算法,结论：这些算法通常称为LMS类算法梯度算法。,LMS算法的改进,33,LMS算法的改进（续）,从LMS算法导出牛顿法 前面已导出维纳最优解为,它由梯度 得出，其中,用 左乘上式两边, 并将结果代入维纳解公式, 得,写成更一般的迭代形式(即牛顿迭代公式)：,34,LMS算法的改进（续）,从LMS算法导出牛顿法（续）,上式可写成更一般的迭代形式：,这就是所谓牛顿法基本迭代式。其中,称为牛顿方向。,统一算法 LMS法与牛顿法可统一为更一般的下降算法:,取不同的 就构成不同的自适应算法。,35,内 容,正交性原理 Wiener滤波器 梯度下降算法 横向LMS自适应滤波器 横向RLS自适应滤波器 Kalman滤波器 自适应格型滤波器 盲自适应滤波器 自适应滤波器的应用,36,RLS自适应滤波器,基本思想 RLS算法 RLS滤波算法与Kalman滤波算法,系统输入,(c) 预测,延 迟,自适应滤波器,随机信号,u,系统输出2,e(n),y -,+ d(n),系统输出1,(d) 自适应干扰（噪声）抵消,自适应滤波器,基本信号,e(n),y (n),+,系统输出,参考信号,用于预测编码和语音分析,用于噪声消除和波束形成,x(n)+N(n),-,d(n),