《梯度投影法》PPT课件.ppt

梯度投影法梯度投影法提出问题提出问题l 目标函数的最速下降方向是负梯度方向．但是，在有约束目标函数的最速下降方向是负梯度方向．但是，在有约束 情况下，沿最速下降方向移动可能导致非可行点．情况下，沿最速下降方向移动可能导致非可行点．措施：措施：对负梯度进行对负梯度进行投影投影，使得目标函数值不仅改进，，使得目标函数值不仅改进， 同时又保持迭代点的可行性．同时又保持迭代点的可行性．梯度投影法梯度投影法(Gradient Projection Method)梯度投影法梯度投影法简介简介l 梯度投影法梯度投影法是是1960年由年由Rosen提出，并由提出，并由Goldfarb和和Lapidus 于于1968年加以改进年加以改进. l 梯度投影法的梯度投影法的基本思想基本思想为为: 当迭代点在可行域内部时，取该点当迭代点在可行域内部时，取该点 处的负梯皮方向为可行下降方向；当迭代点在可行域边界上处的负梯皮方向为可行下降方向；当迭代点在可行域边界上 时，取该点处负梯度方向在可行域边界上的投影产生一个可行时，取该点处负梯度方向在可行域边界上的投影产生一个可行 下降方向下降方向(见图见图9.2.1)．．梯度投影法梯度投影法基本概念基本概念投影矩阵投影矩阵为为投影矩阵投影矩阵, p 称为称为 x 在在 V 上的上的投影投影.由由行满秩矩阵行满秩矩阵产生投影矩阵产生投影矩阵则则(1) MT的的列向量生成的子空间列向量生成的子空间为：为：(2) M的的零空间零空间为：为： VN=梯度投影法梯度投影法基本概念基本概念由由行满秩矩阵行满秩矩阵产生投影矩阵产生投影矩阵幂等对称阵幂等对称阵性质性质梯度投影法梯度投影法基本原理基本原理l 如果如果M为空，为空，即迭代点在可行域内部时，负梯度方向即迭代点在可行域内部时，负梯度方向 为可行下降方向；为可行下降方向；l 如果如果M非空，即迭代点在某些约束的边界上时，该点处的负梯度非空，即迭代点在某些约束的边界上时，该点处的负梯度 在在 M 的零空间上的投影为可行下降方向．的零空间上的投影为可行下降方向．可行下降方向的构造可行下降方向的构造—定理和定理定理和定理梯度投影法梯度投影法基本原理基本原理l x是是K-T点；点；l 或可以构造新的投影矩阵以便求得可行下降方向．或可以构造新的投影矩阵以便求得可行下降方向．定理定理9.2.3梯度投影法梯度投影法基本原理基本原理一维搜索一维搜索l 同同Zoutendijk法中的一维搜索，即法中的一维搜索，即算法步骤算法步骤Step1梯度投影法梯度投影法Step2Step3Step4Step5算法步骤算法步骤梯度投影法梯度投影法Step6梯度投影法梯度投影法举例举例 参见参见P256 例例9.1.2.。