中文)第三章自适应滤波器.ppt

现代数字信号处理,第三章：自适应滤波器,内容,1. 自适应滤波器原理 2. 自适应线性组合器 3. 均方误差性能曲面 4. 最陡下降算法 5. LMS算法 6. RLS算法 7. 典型应用：噪声消除,,,自适应算法,理论分析,1 自适应滤波原理,学习和跟踪（时变信号） 带有可调参数的最优线性滤波器,两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则,,,,线性滤波器,性能评价,自适应方法,输入信号,输出信号,期望响应,误差,滤波器参数,通用自适应滤波器的基本原理,3. 自适应滤波器的性能,失调量（Misadjustment） 计算复杂度（Computational complexity） 对时变统计量的跟踪能力 结构上：高模块性，并行性等（是否适合硬件实现） 收敛速度 数值特性：数值稳定性（对字长效应不敏感），数值精确性 鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估计误差,本章主要讨论自适应线性组合器（其分析和实现简单，在大多数自适应滤波系统中广泛应用）多输入自适应线性组合器,2 自适应线性组合器,一类具有自适应参数的FIR数字滤波器。

－－》一般形式,单输入自适应线性组合器,,,,多输入,单输入,,,输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P,3. 均方误差性能曲面,单权重情况: 抛物线,性能曲面,,,两个权系数: 抛物面,权系数数目大于两个情况：超抛物面,个权系数: 一个 维空间内的 超抛物面 “碗底”点对应于均方误差最小点，也就是最优权系数矢量 所在的点对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.,,梯度，最优权矢量和最小均方误差,很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量 均方误差性能曲面的梯度定义为：,最优权重矢量处梯度为零：,最小均方误差：,与维纳滤波器的最小均方误差比较:,The same equations,背离矢量（背离最优权重）,均方误差性能方程可写为另一种形式：,权重背离矢量:,在 坐标系统中的性能曲面方程,为了使 对于所有可能的 值为非负，有必要使所有 满足 也就是说 必须是正定或者半正定在实际的系统中，矩阵 总是正定的，有时半正定情况也会出现梯度:,矢量 是权重矢量 对维纳最优权矢量 的背离。

任何背离都会导致均方误差的一个增加量,4. 最陡下降法,基本思想：搜索性能曲面 理想情况下（梯度可知）: 使用基于梯度的方法（最陡下降法） 实际情况（梯度多数不可知）: LMS方法（the Least-Mean-Square algorithm ） RLS方法（Recursive Least-Square Algorithm）,演示1: 基于梯度搜索均方误差曲面的最小点,为一个控制收敛速度和稳定性的常数称为自适应步长演示2:,,,,方程两边同减最优权矢量,几个不同形式的权重更新方程,,,,,稳定和收敛条件：,可证明：,自适应过程的稳定性,最优点:,时间迭代:,稳定条件:,,The deepest-descend method,实际应用中选取:,参数变更的回馈模型,The deepest-descend method,收敛速率,滤波器参数的收敛速度决定于自适应步长的选择 在主轴系统中参数沿着各个参数坐标轴独立收敛各个坐标轴的收敛速度被各自的几何比 r 控制 需要注意的是，在自然坐标系中各个参数w并不是独立收敛的这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因几何比 r 和自适应步长对收敛的影响：,几何比和自适应步长对收敛的影响：,,权系数衰减时间常数 权系数衰减到初始值的 需要花费的时间。

收敛速度：几个时间常数,,(2) 学习曲线时间常数 即均方误差与最小均方误差的差值下降到初始差值的 时所花费的时间3) 自适应时间常数（用时间衡量学习曲线常数）,注意,最陡下降法具有更多的理论分析意义，实际操作时我们必须对其做很多近似Least-Mean-Square Algorithm,最陡下降法在每次迭代时要求得到性能曲面梯度的估计值 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择5. LMS 方法,LMS 方法推导,使用单次计算的估计误差平方代替平方误差的期望LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量LMS 自 适 应 滤 波 器,举例 （2输入线性组合器）,LMS方法对梯度的估计的均值为真实梯度,估计量的期望值与真实梯度的偏差为0所以为无偏估计,最陡下降法,LMS权矢量的均值 等于最陡下降法得到的权矢量,,最陡下降,LMS 单次,,最陡下降,LMS 多次平均,,收敛条件,在最小均方误差点 附近的梯度估计误差,(around ),(梯度估计噪声 ),权矢量噪声,,(2)在最小均方误差点 附近的权矢量估计误差,,(3)在最小均方误差点 附近的权矢量噪声方差,,梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。

这意味着稳态的均方误差值在 附近随机的改变这个偏移量的期望值称为超量EMS,失 调 量 (1) 超量EMS（Mean-Square Error）,,(2) 失调量 M,实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用通常自适应过程在大概4倍学习曲线时间常数内基本结束 因此，失调量可认为等于权重数目比上过渡时间（4倍时间常数）特殊情况下所有特征值都相等：,设计滤波器时的考虑,,,假设要求失调量小于10％，则过渡时间应当比权重数目大10倍6. 自适应的递归最小二乘方(RLS)算法,维纳滤波器的一种时间递归形式(收敛速度快),维纳滤波器,RLS 自适应滤波器,遗忘因子,新数据比旧数据更加重要,自相关矩阵：,互相关矢量:,自相关矩阵逆的迭代形式：,相关的递归形式,A 和 B 是两个正定矩阵,关于矩阵逆的一个定理,,滤波器增益矢量:,误差信号方程:,滤波器系数更新,滤波器增益矢量:,误差信号方程:,输入信号:,初始值:,滤波器参数更新:,相关矩阵逆更新:,RLS 自适应方法,,7. 典型应用：噪声消除,,Adaptive Filter,Adaptive algorithm,参考信号,输出,输入信号（信号＋噪声）,误差信号,W,,,,,,,,没有回声控制的远程电视会议系统,Applications,使用自适应回声抵消器抵消回波,Applications,Ref.: B.Widrow and S.D. Stearns: Adaptive Signal Processing, Ch.12: Adaptive noise canceling: notch filter, …,,,B说话声音,B声音回声,。