最优化方法：凸分析与凸函数.ppt

最优化理论与算法,2，凸分析与凸函数,2. 凸集与凸函数,2.1 凸集与锥,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,运用定义不难验证如下命题：,2. 凸集与凸函数,2. 凸集与凸函数,多面体(polyhedral set)是有限闭半空间的交. (可表为 Axb ).,2. 凸集与凸函数,多面集 x|Ax0也是凸锥，称为多面锥2. 凸集与凸函数,由定义可知,锥关于正的数乘运算封闭,凸锥关于加法和正的数乘封闭,一般的,对于凸集S,集合,K(S)=x|0,xS,是包含S的最小凸锥.,锥C称为尖锥,若0S.尖锥称为突出的,若它不包含一维子空间,约定: 非空集合S生成的凸锥,是指可以表示成S中有限个元素的非负线性组合(称为凸锥组合)的所有点所构成的集合,记为coneS. 若S凸,则,coneS=K(S) 0,2. 凸集与凸函数,Df 2.5 非空凸集中的点 x 称为极点,若 x=x1+(1-)x2 , (0,1) , x1 ,x2 S, 则 x=x1=x2.换言之,x不能表示成S中两个不同点的凸组合.,由上可知,任何有界凸集中任一点都可表成极点的凸组合.,2. 凸集与凸函数,Def 2.6. 设非空凸集SRn, Rn中向量d0 称为S的一个回收方向(方向), 若对每一 xS, R(x.d)=x+d| 0 S.S的所有方向构成的尖锥称为S的回收锥,记为0+S,方向d1和d2 称为S的两个不同的方向,若对任意0, 都有 d1d2；方向d称为S的极方向extreme direction ,若 d=d1+(1-)d2, (0,1),d1 ,d2 是S的两个方向,则有 d=d1=d2.换言之d不能表成它的两个不同方向的凸锥组合,2. 凸集与凸函数,2. 凸集与凸函数,表示定理,Th2.4 若多面体P=xRn|Axb, r(A)=n则:,则,(3)指标集J是空集当且仅当P是有界集合,即多胞形.,2. 凸集与凸函数,表示定理直观描述:设 X 为非空多面体. 则存在有限个极点 x1, , xk , k0. 进一步,存在有限个极方向 d1, , dl, l0 当且仅当 X 无界. 进而, xX 的充要条件是 x 可以表为 x1, , xk 的凸组合和d1, , dl的非负线性组合(凸锥组合).,推论2.1 若多面体S=x|Ax=b,x0非空,则S必有极点.,2. 2 凸集分离定理,2. 凸集与凸函数,2. 凸集与凸函数,证明：令,2. 凸集与凸函数,所以为柯西列，必有极限,且由S为闭集知。

此极限点必在S中2. 凸集与凸函数,下证明唯一性,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,证明提纲,由此可得,2. 凸集与凸函数,2. 凸集与凸函数,Th2.7表明，S为闭凸集， yS，则y与S可分离若令clS表示非空集合S的闭包，则当yclS时，定理结论也真实际上我们有下述定理,证明,2. 凸集与凸函数,推论2.2：设S为Rn 中的非空集合，yS,则存在非零向量p，使对xclS, pT (x-y)0,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,作为凸集分离定理的应用，下面介绍两个择一定理：Farkas定理和Gordan定理，它们在最优化理论中是很有用的2. 凸集与凸函数,2.3 择一定理,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2.4 凸函数,Df2. 10 设SRn是非空凸集,函数f:SR,若对任意x1, x2S,和每一(0, 1)都有 f(x1+(1-)x2)f(x1)+(1-)f(x2)则称f是S上的凸函数.若上面的不等式对于xy严格成立,则称f是S上的严格凸函数. 若-f是S上的凸函数,则称f是S上的凹函数.若-f是S上的严格凸函数,则称f是S上的严格凹函数.,2.4.1 基本性质,2. 凸集与凸函数,Th2.13 设 f 是一凸函数，则对任意的xRn 和d(0 )Rn，f在x处沿方向d的方向导数存在。

2. 凸集与凸函数,2. 凸集与凸函数,2.凸集与凸函数,命题2.3 设f是定义在凸集S上的凸函数，则(1)所有凸函数f的集合关于凸锥组合运算是封闭的,即(a)实数0，则f也是定义在S上的凸函数(b)设f1和f2是定义在凸集S上的凸函数，则f1+f2也是定义在S上的凸函数,2. 凸集与凸函数,(2)函数f在开集intS内是连续的.(3)函数f的水平集L(f,)=x|xS,f(x) ,R 和上镜图epi(f)=(x,y)|xS,yR,yf(x)都是凸集,2. 凸集与凸函数,设S 为Rn中的非空凸集,则 f(x) 是凸的当且仅当上镜图 epif=(x, y) | xS, yR, yf(x)是凸集,对上镜图事实上我们有如下定理,2. 凸集与凸函数,定理2.14 设SRn为一非空凸集，f是定义在S上的凸函数，则f在S上的局部极小点是整体极小点，且极小点的集合为凸集2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2. 凸集与凸函数,2.5.2 凸函数的判别,Th2.16. 设S 是Rn 中的非空开凸集, f(x):SR 是可微的函数 则 f(x) 是凸函数当且仅当对任意的 x*S, 我们有f(x) f(x*)+f(x*) (x-x*), 任意 xS. 类似的, f(x) 严格凸当且仅当对每一 x*S,f(x) f(x*)+f(x*) (x-x*), 任意 xS.,2.4.2 凸函数的判别,2. 凸集与凸函数,2. 凸集与凸函数,Th 2.16*. 设S 是 Rn a上的非空开凸集, f(x) 为 S 到 R上的可微函数. 则 f(x) 是凸函数当且仅当任意的 x1, x2 S, 有 (f(x2)-f(x1)(x2-x1)0.类似的, f 严格凸当且仅当对任意相异的 x1, x2 S, (f(x2)-f(x1)(x2-x1)0.,2. 凸集与凸函数,2. 凸集与凸函数,Th 2.17 设S 是 Rn a上的非空开凸集, f(x) 为 S 到 R上的二次可微函数. 则(1) f(x) 是凸函数当且仅当S上每一点的Hessian矩阵是半正定的.(2) f(x) 是严格凸函数当且仅当S上每一点的Hessian矩阵是正定的.,凸规划,2. 凸集与凸函数,。