最优化原理复习纲要.pdf

复习复习 第一章 绪论第一章 绪论 一 基本概念 二 知识点 局部极小点 全局极小点 凸集 极点 极方向 凸函数 一 基本概念 二 知识点 局部极小点 全局极小点 凸集 极点 极方向 凸函数 Farkas Gordan 图解法 点与闭凸集的分离定理 引理 择一定理 凸函数的一阶 二阶充要条件 图解法 点与闭凸集的分离定理 引理 择一定理 凸函数的一阶 二阶充要条件 第四章 无约束最优化问题的一般结构 方向导数 一维搜索 局部收敛与全局收敛 收敛速率 算法的二次终止性 一 基本概念 第四章 无约束最优化问题的一般结构 方向导数 一维搜索 局部收敛与全局收敛 收敛速率 算法的二次终止性 一 基本概念 4 1 4 一阶必要条件 二阶必要条件 二阶充分条件 定理 最速下降算法 二 知识点 一阶必要条件 二阶必要条件 二阶充分条件 定理 最速下降算法 二 知识点 精确一维搜索 非精确一维搜索 单峰函数 黄金分割法 精确一维搜索 非精确一维搜索 单峰函数 黄金分割法 第五章 一维搜索 一 基本概念 二 知识点 共轭方向 第五章 一维搜索 一 基本概念 二 知识点 共轭方向 NewtonNewton方程 法算法 共轭梯度法 拟牛顿法的基本性质 方程 法算法 共轭梯度法 拟牛顿法的基本性质 第六章 使用导数的最优化方法第六章 使用导数的最优化方法 一 基本概念 二 知识点 一 基本概念 二 知识点 KKTLagrangian 下降方向 可行方向 凸规划 有效约束 起作用约束 点 函数 下降方向 可行方向 凸规划 有效约束 起作用约束 点 函数 第八章 约束问题的最优性条件 一 基本概念 二 知识点 第八章 约束问题的最优性条件 一 基本概念 二 知识点 KKT一阶必要条件 条件 二阶必要条件 二阶充分条件 一阶必要条件 条件 二阶必要条件 二阶充分条件 第十章 可行方向法 知识点 第十章 可行方向法 知识点 Zoutendijk可行方向法 投影阵及其基本性质可行方向法 投影阵及其基本性质 外 罚函数 内 罚函数 外 罚函数 内 罚函数 第十一章 乘子法 一 基本概念 二 知识点 第十一章 乘子法 一 基本概念 二 知识点 外 罚函数算法 内 罚函数算法 罚函数法相关理论结果 外 罚函数算法 内 罚函数算法 罚函数法相关理论结果 2 1 1 min 0 min 0Hessian 1 1 2 3 4 n n T k f xxxf xxR f x f xxx f xxRf x f x f xfx df xd d GnddG d 设在处可微 若是无约束问题 的局部解 则 设在点处二阶可微 若是无约束问题 的局部解 则 且阵 是半正定阵 设若具有连续一阶偏导数 则 设 是 阶对称正定阵 是 共轭的非零向量 设在处可微 若是无约束问题 的局部解 则 设在点处二阶可微 若是无约束问题 的局部解 则 且阵 是半正定阵 设若具有连续一阶偏导数 则 设 是 阶对称正定阵 是 共轭的非零向量 则则 min 0 5 k n d f xx f xxRf x 线性无关 设目标函数是连续可微凸函数 则是无约束问题 的全局解的充要条件是 线性无关 设目标函数是连续可微凸函数 则是无约束问题 的全局解的充要条件是 证明题 证明题 12 min 0 6 x ma 7 n nT n k SRf xxxf xxS D xF x D xdRf xdF xx fffRR f x 设在 处可微 是约束问题 的局部最优解 证明 设在 处可微 是约束问题 的局部最优解 证明 其中是该约束问题在处其中是该约束问题在处 的可行方向的全体 设是凸函数 证明函数 的可行方向的全体 设是凸函数 证明函数 12 n 1 11 8 2 0 1 2 1 1 2 9 k m i ii i mm ii ii ii fxfxfx DRf xD mimxD im fxf x 是凸函数 证明两个凸集的交集仍为凸集 设为凸集 是凸函数 证明两个凸集的交集仍为凸集 设为凸集 是定义在 上的凸函数的充要条件是定义在 上的凸函数的充要条件 是有 是有 1 1 1 1 1 2 3 kkk kkk kkk kkk P xP xP x S xS xS x f xf xf x 即序列非减 即序列非增 即序列非减 即序列非减 即序列非增 即序列非减 1 11 100 min kk kkkk xx P x 设和分别为取罚参数及时无约 束问题的全局最优解 则下列不等式成立 设和分别为取罚参数及时无约 束问题的全局最优解 则下列不等式成立 。