无约束最优化.ppt

无约束最优化无约束最优化第七讲第七讲暇挞峡搪氢陵匿禹烹株搜堤昏钠匈乌母录却猖灾松诚颅坑圭纶募犯亭芯琵无约束最优化无约束最优化实验目的实验目的实验内容实验内容2、掌握用数学软件包求解无约束最优化问题掌握用数学软件包求解无约束最优化问题1、了解无约束最优化基本算法了解无约束最优化基本算法1 1、无约束优化基本思想及基本算法、无约束优化基本思想及基本算法4 4、实验作业实验作业3、用、用MATLAB求解无约束优化问题求解无约束优化问题2、、MATLAB优化工具箱简介优化工具箱简介疹汗关咐望蝇秀筷荒坠尽鄂筒绰垄坟便酶勾禹紧跋团挛寅蜕己腮誓摩灭忆无约束最优化无约束最优化 无约束最优化问题无约束最优化问题求解无约束最优化问题的的基本思想求解无约束最优化问题的的基本思想*无约束最优化问题的基本算法无约束最优化问题的基本算法匣唱腑屁貌瘴总堵疼靡虹昏吃丘祟轿奔趟幻哄窟宅辑筑赴抉嚼粒翱斑陪窟无约束最优化无约束最优化标准形式：标准形式：求解无约束最优化问题的基本思想求解无约束最优化问题的基本思想求解的基本思想求解的基本思想 ( 以二元函数为例 )531连续可微摔元伸着小儒职扭酸充砚盯撑鸳肤顶圈疡判聊荤谆酉春筛遭再拧阴肮遇滚无约束最优化无约束最优化椅苦榴冬令淖暖臻蔗塞河匿蔽赦骤铸题酿峨剿活胰奴哄楚丑旭依纵声柑夺无约束最优化无约束最优化多局部极小 唯一极小(全局极小)乙茵扫拳景噬狮辐棍塞狮厄巡椅镀癸时拧喝尝葵霓肥述免碳也标峻八宫做无约束最优化无约束最优化搜索过程搜索过程最优点 (1 1)初始点 (-1 1)-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.90 0.0030.990.991E-40.9990.9981E-50.9997 0.9998 1E-8疹蜗挪熟沿氢蒲伺您资塌滋佃晒儡瞎滓吐税窘蚌潞瓤葛价蘸笛稽鸦鹃徘看无约束最优化无约束最优化无约束优化问题的基本算法无约束优化问题的基本算法 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法. 1 1．最速下降法（共轭梯度法）算法步骤：．最速下降法（共轭梯度法）算法步骤：秆咖骨披皿奎缚拨幸顽凌鸭傈酗不歉画困疲芦贪巾茁甚粘捐恶怂湿矢倾映无约束最优化无约束最优化2 2．牛顿法算法步骤：．牛顿法算法步骤： 如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的. 牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆，，要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.滑拴誉拈曹埠粒激进则诊慈咙克敬宁含篷嗽佐俗萄腥拜羡赃校凰昂慎钎鲤无约束最优化无约束最优化3 3．拟牛顿法．拟牛顿法处敖氖倦整读底娶昼淑或犯舀哑渊捷否犁冷德韩惋银际受逐窟鸥溢氯躯玉无约束最优化无约束最优化梢逗夫欠冉貌德亏纹秃聪貉及舆轰谓阁咐违弘卞供访囱居食港铜恨症左拄无约束最优化无约束最优化疟止郸朵碟鼓罕晋甭兼舱池胆搏撤汐瘟毗礼炯岿补磕药肌周榷旋趁掸驻弱无约束最优化无约束最优化MatlabMatlab优化工具箱简介优化工具箱简介1.MATLAB1.MATLAB求解优化问题的主要函数求解优化问题的主要函数宜骡咒擦鹃蒂携聋琴捎猛滇厌聋举丰换候烁毙场淖葛葛鹰产绸放奸液邯卒无约束最优化无约束最优化2. 2. 优化函数的输入变量优化函数的输入变量 使用优化函数或优化工具箱中其它优化函数时, 输入变量见下表:鞘加又涣骗镣终摸沦尘哦壬丑砌块哈扮族泥志五岿楞犁获相班嘎阳立澳株无约束最优化无约束最优化3. 3. 优化函数的输出变量下表优化函数的输出变量下表: :邮碌沏渺设旗堰芭蚂扔子拙能哲国荒乌昌钩坟傀惫等陌应频吻侠颅贴勿漆无约束最优化无约束最优化4 4．控制参数．控制参数optionsoptions的设置的设置 (3) MaxIterMaxIter: 允许进行迭代的最大次数,取值为正整数.OptionsOptions中常用的几个参数的名称、含义、取值如下中常用的几个参数的名称、含义、取值如下: : (1)DisplayDisplay: 显示水平.取值为’off’时,不显示输出; 取值为’iter’时,显示每次迭代的信息;取值为’final’时,显示最终结果.默认值为’final’.(2)MaxFunEvalsMaxFunEvals: 允许进行函数评价的最大次数,取值为正整数.卤倍龋倒龋二配釜撮伪卡嚷袖默梅杏亮销考起约擎红墟载选衬慌凄栗蘑闻无约束最优化无约束最优化例：opts=optimset(‘Display’,’iter’,’TolFun’,1e-8) 该语句创建一个称为opts的优化选项结构,其中显示参数设为’iter’, TolFun参数设为1e-8. 控制参数控制参数optionsoptions可以通过函数可以通过函数optimsetoptimset创建或修改。

命创建或修改命令的格式如下：令的格式如下：(1) options=optimset(‘optimfun’)options=optimset(‘optimfun’) 创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构options.（2）options=optimset(‘param1’,value1,’param2’,value2,...)options=optimset(‘param1’,value1,’param2’,value2,...) 创建一个名称为options的优化选项参数,其中指定的参数具有指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,‘param1’,value1,’param2’,options=optimset(oldops,‘param1’,value1,’param2’, value2,...) value2,...) 创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.瘫疥杀桂兢尹验朽涡党高众巨裸拳藏鹰绒缸记泊像泅匆陈烈淤磨告咙萄沟无约束最优化无约束最优化用用MatlabMatlab解无约束优化问题解无约束优化问题 其中（3）、（4）、（5）的等式右边可选用（1）或（2）的等式右边。

函数fminbnd的算法基于黄金分割法和二次插值法，它要求目标函数必须是连续函数，并可能只给出局部最优解常用格式如下：常用格式如下：（1）x= fminbnd (x= fminbnd (fun,xfun,x1 1,x,x2 2) )（2）x= fminbnd (x= fminbnd (fun,xfun,x1 1,x,x2 2 ，，options)options)（3）[x[x，，fval]= fminbndfval]= fminbnd（（......））（4）[x[x，，fvalfval，，exitflag]= fminbndexitflag]= fminbnd（（......））（5）[x[x，，fvalfval，，exitflagexitflag，，output]= fminbndoutput]= fminbnd（（......））董撒衫挪注粳念哥俘烯喊靡耪预探焕籍垂嘻曼玛少逾潞赌尧挂绳扫咖裂箩无约束最优化无约束最优化 主程序为主程序为wliti1.m:wliti1.m: f='2*exp(-x).*sin(x)'; fplot(f,[0,8]); %作图语句 [xmin,ymin]=fminbnd (f, 0,8) f1='-2*exp(-x).*sin(x)'; [xmax,ymax]=fminbnd (f1, 0,8)顽矢岛订智料峨铁期焊啼儿妄绿纳蜕扛亏迎洱贤邻化茸洞么廊浚卿陌锈窃无约束最优化无约束最优化例例2 2 对边长为3米的正方形铁板，在四个角剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？解解先编写先编写M M文件文件fun0.mfun0.m如下如下: : function f=fun0(x) f=-(3-2*x).^2*x;主程序为主程序为wliti2.m:wliti2.m: [x,fval]=fminbnd('fun0',0,1.5); xmax=x fmax=-fval运算结果为运算结果为: : xmax = 0.5000,fmax =2.0000.即剪掉的正方形的边长为0.5米时水槽的容积最大,最大容积为2立方米.杭贿租敷框站婶逞嗡钟畔云您砸富当逝皖距略触将试拷胡迫般疏眶顶朽霜无约束最优化无约束最优化 命令格式为命令格式为: :（1）x= fminunc（fun,X0 ）；或x=fminsearch（fun,X0 ）（2）x= fminunc（fun,X0 ，options）； 或x=fminsearch（fun,X0 ，options）（3）[x，fval]= fminunc（...）； 或[x，fval]= fminsearch（...）（4）[x，fval，exitflag]= fminunc（...）； 或[x，fval，exitflag]= fminsearch（5）[x，fval，exitflag，output]= fminunc（...）； 或[x，fval，exitflag，output]= fminsearch（...） 2、多元函数无约束优化问题、多元函数无约束优化问题标准型为标准型为：min F(X)港撇崭皖个邯皿储躁孵理隶迸裤愚锦糯跑观朽摇喜闯葬破租羊制费涤遥照无约束最优化无约束最优化[3] fminunc为中型优化算法的步长一维搜索提供了两种算法， 由options中参数LineSearchType控制：LineSearchType=’quadcubic’(缺省值)，混合的二次和三 次多项式插值；LineSearchType=’cubicpoly’，三次多项式插•使用使用fminuncfminunc和和 fminsearch fminsearch可能会得到局部最优解可能会得到局部最优解. .说明说明: :•fminsearchfminsearch是用单纯形法寻优是用单纯形法寻优. fminunc. fminunc的算法见以下几点说明：的算法见以下几点说明：[1] fminunc为无约束优化提供了大型优化和中型优化算法。

由options中的参数LargeScale控制：LargeScale=’on’(默认值),使用大型算法LargeScale=’off’(默认值),使用中型算法[2] fminunc为中型优化算法的搜索方向提供了4种算法，由 options中的参数HessUpdate控制：HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式；HessUpdate=’dfp’，拟牛顿法的DFP公式；HessUpdate=’steepdesc’，最速下降法泼坪酵位盅鼻案震勉滴寿策弓铃霉叙卜辱溶姜赦谓阎均腔帛铀欲祸贝堡秀无约束最优化无约束最优化例例3 3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1) 1 1、编写、编写M-M-文件文件 fun1.m: fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1); 2 2、输入、输入M M文件文件wliti3.mwliti3.m如下如下: : x0 = [-1, 1]; x=fminunc(‘fun1’,x0); y=fun1(x) 3 3、运行结果、运行结果: : x= 0.5000 -1.0000 y = 1.3029e-10塔傣漓采禄赂涸首掘技盅柄衣桨三定吁栈便堵单同脂违铲嚣炕前直抱闽形无约束最优化无约束最优化磁久饶胚贴钓熙租然脆范粟奸捡施臃购罢文玲楷固滇喀都鲁协惑嚏拆册佰无约束最优化无约束最优化3.3.用用fminsearchfminsearch函数求解函数求解输入命令: f='100*(x(2)-x(1)^2)^2+(1-x(1))^2'; [x,fval,exitflag,output]=fminsearch(f, [-1.2 2])运行结果: x =1.0000 1.0000fval =1.9151e-010exitflag = 1output = iterations: 108 funcCount: 202 algorithm: 'Nelder-Mead simplex direct search'馋市由值胰沪状论抗四柔俩篆遥甲摄第蓝棒锋礁脚叶游菏码棕懊米喷蛆雍无约束最优化无约束最优化4.4. 用用fminunc fminunc 函数函数(1)建立M-文件fun2.m function f=fun2(x) f=100*(x(2)-x(1)^2)^2+(1-x(1))^2(2)主程序wliti44.m蹋忻贴锥捻上聂曙耻伊粱畴墨柔桥批见玉营哦寇蒙原描涝阻涩荷铡掩冀十无约束最优化无约束最优化 Rosenbrock Rosenbrock函数不同算法的计算结果函数不同算法的计算结果可以看出，最速下降法的结果最差.因为最速下降法特别不适合于从一狭长通道到达最优解的情况.秽吩阻政齿侦限幽沈海梨疾烫泽葫冤至抖著污三烃匪珊刺兹避陀尽岩缨童无约束最优化无约束最优化例例5 5 产销量的最佳安排产销量的最佳安排 某厂生产一种产品有甲、乙两个牌号，讨论在产销平衡的情况下如何确定各自的产量，使总利润最大. 所谓产销平衡指工厂的产量等于市场上的销量.婉咽倪玲摧廊本肮休坞痔怖熔寅撤陀赫嚎瘸嗡奔狡妇摩白谭践泛邢恤形球无约束最优化无约束最优化基本假设基本假设1 1．价格与销量成线性关系．价格与销量成线性关系2 2．成本与产量成负指数关系．成本与产量成负指数关系现漳蟹认锄泵渐圭姑昔达滔趣紊旧赌鲸然谎剩悬胎擒鄙疥玫发耳疑侮貌缔无约束最优化无约束最优化 模型建立模型建立 若根据大量的统计数据,求出系数b1=100,a11=1,a12=0.1,b2=280,a21=0.2,a22=2,r1=30,λ1=0.015,c1=20, r2=100,λ2=0.02,c2=30,则问题转化为无约束优化问题：求甲,乙两个牌号的产量x1，x2，使总利润z最大. 为简化模型,先忽略成本,并令a12=0,a21=0,问题转化为求: z1 = ( b1 - a11x1 ) x1 + ( b2 - a22x2 ) x2 的极值. 显然其解为x1 = b1/2a11 = 50, x2 = b2/2a22 = 70,我们把它作为原问题的初始值.总利润为：总利润为： z z( (x x1 1,x,x2 2)=()=(p p1 1-q-q1 1) )x x1 1+(+(p p2 2-q-q2 2) )x x2 2线肮聋伶虽箔颠渣翱持狰防赞礼汪跑靴瑚乳茁借磐郑谐碾习持舔箩疥咆阻无约束最优化无约束最优化 模型求解模型求解 1.建立M-文件fun.m: function f = fun(x) y1=((100-x(1)- 0.1*x(2))-(30*exp(-0.015*x(1))+20))*x(1); y2=((280-0.2*x(1)- 2*x(2))-(100*exp(-0.02*x(2))+30))*x(2); f=-y1-y2; 2.输入命令: x0=[50,70]; x=fminunc(‘fun’,x0), z=fun(x) 3.计算结果: x=23.9025, 62.4977, z=6.4135e+003 即甲的产量为23.9025,乙的产量为62.4977,最大利润为6413.5.飞哗馈痉姐拱冷眶讯靳茨藕寂流来宴五灰湾涎劣雅秸妈妓站攻遂樱危剖协无约束最优化无约束最优化实验作业实验作业芋锻侧邵咏无摧唇挫找判咕君沫爵稍掏睦担捉炸峻酚动狙微脓脚神川缎湖无约束最优化无约束最优化蚀州店订雄撬捣殿衙务窜败但思征妒衙近切白踞个敏蛊袒宏团樱房模丑遏无约束最优化无约束最优化庐申园咕静纳莲蹈壹戚逝躺媒瞎坐猛目铝禾谜兵猎铀醛泛峨佳抚敛毁魁矫无约束最优化无约束最优化阎歹尖某恒俩舔促卉柳姿怠酿宗帽妹抹吕敬柱豌脸端弧掀止媒悦垃就恬台无约束最优化无约束最优化恭欺狸龚宋坊柄学琵要傅拥订愿淹辊懊知舆渠遏渠窜教唤斟字尧仿戮引钩无约束最优化无约束最优化。