第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)機(jī)械優(yōu)化設(shè)計(jì)

第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)優(yōu)化問(wèn)題的求解一般是非線性規(guī)劃問(wèn)題，實(shí)質(zhì)上是多元非線性函數(shù)的極值問(wèn)題。從數(shù)學(xué)上看，無(wú)約束優(yōu)化問(wèn)題就是無(wú)條件極值問(wèn)題，約束優(yōu)化問(wèn)題即條件極值問(wèn)題。本章主要介紹極值理論，重點(diǎn)是優(yōu)化問(wèn)題的極值條件。21多元函數(shù)的方向?qū)?shù)與梯度一、方向?qū)?shù)二元函數(shù)FX1，X2的偏導(dǎo)數(shù)221221021212110121XXXFXXXFXFXXXFXXXFXFXX,LIM,LIM21XFXF、是函數(shù)分別沿坐標(biāo)軸X1、X2方向的變化率。函數(shù)沿某一方向D的變化率稱為該函數(shù)沿此方向的方向?qū)?shù)。其中1、2分別是方向D與X1、X2軸的夾角，COS1、COS2為方向余弦。擴(kuò)展到多元函數(shù)，我們有22112122110COSCOS,LIMDXFXFDXXFXXXXFFDNIIIXFF1COSD其中方向余弦為NJJIIXX12COS二、梯度對(duì)二元函數(shù)，定義TXFXFXFXFF2121X為函數(shù)FX1,X2的梯度。設(shè)21COSCOSD為D方向的單位向量，則方向?qū)?shù)DXDTFF即沿方向D的方向?qū)?shù)為函數(shù)的梯度與D方向單位向量的內(nèi)積|代表向量的模，（F,D表示梯度向量與D的夾角?？梢?jiàn)，梯度方向是方向?qū)?shù)最大的方向，即函數(shù)變化率最大的方向。D,COSXDXDFFFFT在等值線FX1,X2C上，求函數(shù)全微分得0212211DXDXFDXXFDXXFT故梯度方向與等值線（切線）垂直。推廣到多元函數(shù)其中TNXFXFXFF21XD,COSXDXDFFFFTNCOSCOSCOSD212112NIIXFFX梯度方向?yàn)楹瘮?shù)等值面FXC的法線方向。22多元函數(shù)的泰勒展開(kāi)許多算法及其收斂性的證明都基與此。設(shè)函數(shù)具有二次以上連續(xù)性，則泰勒展開(kāi)式為一元函數(shù)（在XX0處）200021XXFXXFXFXF“其中XXX0二元函數(shù)（在XX10,X20處）222222121221212221120102100000221XXFXXXXFXXFXXFXXFXXFXXFXXXXX,其中X1X1X10,X2X2X20。記為矩陣形式有其中XXXXXXXXXX000212221222122122121210212100GFFXXXFXXFXXFXFXXXXXFXFFFTT21XXX02221222122120XXXFXXFXXFXFGHESSIAN矩陣海賽矩陣（24）（24）式可推廣到N元函數(shù)。優(yōu)化計(jì)算時(shí)，常將目標(biāo)函數(shù)作泰勒展開(kāi)，取到線性項(xiàng)或二次項(xiàng)作為近似表達(dá)。函數(shù)僅有二次項(xiàng)時(shí)稱為二次齊次函數(shù)，其矩陣形式為XXXGFT二次型）當(dāng)任意非零向量X使得0XXGT稱二次齊次函數(shù)正定，G稱為正定矩陣。23無(wú)約束優(yōu)化問(wèn)題的極值條件此處的極值條件指目標(biāo)函數(shù)取得極小值時(shí)，極值點(diǎn)所應(yīng)滿足的條件。對(duì)于可微的一元函數(shù)，極值點(diǎn)XX0的必要條件是駐點(diǎn)，即FX00。判斷駐點(diǎn)是否為極值點(diǎn)需檢驗(yàn)二階甚至更高階導(dǎo)數(shù)。F”X00X0為極小點(diǎn)。F”X00，則FX也為凸函數(shù)。F1X、F2X為R上的凸函數(shù)，0，0，則F1XF2X也為R上的凸函數(shù)。三、凸性條件1、FX定義在凸集R上，有一階連續(xù)導(dǎo)數(shù)，X1R,X2R，則FX為凸函數(shù)FX2FX1X2X1TFX12、FX定義在凸集R上，有二階連續(xù)導(dǎo)數(shù)，則FX為凸函數(shù)HESSIAN矩陣GX在R上處處半正定。0XXGT四、凸規(guī)劃1、定義對(duì)于約束優(yōu)化問(wèn)題MINFXSTGJX0J1,2,M若FX、GJXJ1,2,M均為凸函數(shù)，則稱此優(yōu)化問(wèn)題為凸規(guī)劃。2、性質(zhì)1）可行域內(nèi)任給一點(diǎn)X0，集合RX|FXFX0為凸集。對(duì)二元函數(shù)而言，這意味著其等值線為外凸曲線。證X1R,X2R,則FX1FX0,FX2FX0,FX為凸函數(shù)FAX11AX2AFX11AFX2AFX01AFX0FX0故AX11AX2XR證畢2可行域RX|GJX0,J1,2,M為凸集。證X1R,X2R,由于GJX為凸函數(shù)，則有GJAX11AX2AGJX11AGJX20兩項(xiàng)均0）故AX11AX2XR3凸規(guī)劃的任意局部最優(yōu)解就是全局最優(yōu)解。證（反正法）設(shè)X1為局部極小點(diǎn)，但不是全局極小點(diǎn)，即在X1的鄰域內(nèi)X點(diǎn)有FXFX1，但此鄰域外存在X2點(diǎn)，有FX1FX2。由于FX為凸函數(shù)，故有FAX11AX2AFX11AFX2AFX11AFX1FX1當(dāng)A1時(shí)，點(diǎn)XAX11AX2進(jìn)入X1點(diǎn)鄰域，此時(shí)有FXFAX11AX2FX1與X1為局部極小點(diǎn)矛盾。25等式約束優(yōu)化問(wèn)題的極值條件一、消元法（降維法）每個(gè)等式約束方程可消去一個(gè)變量。設(shè)M個(gè)約束方程把N個(gè)變量中的前M個(gè)變量表示為后NM個(gè)變量的函數(shù),XXMINMKHTSFK210,NMMMMNMMNMMXXXXXXXXXXXX2121222111代入原目標(biāo)函數(shù)，得新的目標(biāo)函數(shù)轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題。其極值條件為新目標(biāo)函數(shù)的梯度為零。由于M個(gè)約束方程聯(lián)立不易求解，消元法實(shí)際應(yīng)用意義不大。,NMMXXXF21二、拉格朗日乘子法（升維法）構(gòu)造拉格朗日函數(shù)MKKKHFF1XXX,將FX,視為一個(gè)具有NM個(gè)變量的無(wú)約束條件的目標(biāo)函數(shù)可得其極值必要條件其中前N個(gè)方程可寫為,MKFNIXFKI210210XKKHF0HXXFF式中XXXHXMTMHHH212126不等式約束優(yōu)化問(wèn)題的極值條件工程上大多數(shù)優(yōu)化問(wèn)題均屬具有不等式約束的優(yōu)化問(wèn)題，其極值必要條件是著名的庫(kù)恩塔克KUHNTUCKER條件。,XXMINMJGTSFJ210引入起作用約束下標(biāo)集合MJGJJJ,2,1,0XX則目標(biāo)函數(shù)取得約束極值的KUHNTUCKER條件為X,XXXJJNIXGXFJJJIJJI0210表示為梯度形式有幾何意義在約束極小值點(diǎn)X處，函數(shù)FX的負(fù)梯度可表示為所有起作用約束函數(shù)在該點(diǎn)梯度的非負(fù)線性組合。或目標(biāo)函數(shù)負(fù)梯度向量被包含在起作用約束函數(shù)梯度向量構(gòu)成的錐形區(qū)域內(nèi)。XXXJJJJGF0或XXXJJJJGF非極值點(diǎn)極值點(diǎn)G1X0G2X0FXCXKG1XKG2XK可行域FXK可行下降區(qū)G1X0G2X0可行域XKFXCG1XKG2XKFXK對(duì)同時(shí)具有等式和不等式約束的優(yōu)化問(wèn)題,X,XXMINLKHMJGTSFKJ210210目標(biāo)函數(shù)取得約束極值的KUHNTUCKER條件為,XX,XXXXLKHJJNIXHXGXFKJJJIKKIJJI2100210庫(kù)恩塔克條件應(yīng)用舉例對(duì)優(yōu)化問(wèn)題001441222122121XXXXTSXXXFMINX試作出可行域，畫出等值線FX025,1,225,4，找出最優(yōu)解，并驗(yàn)證庫(kù)恩塔克條件。解00012132222112221XGXGXXGXXFXXXX目標(biāo)函數(shù)等值線是以（2，0）點(diǎn)為圓心的同心圓，可行域由3條約束函數(shù)曲線圍成，如圖所示。從圖中可知，（1，0）點(diǎn)是最優(yōu)點(diǎn)?，F(xiàn)驗(yàn)證其KT條件0101001010101321,GGG1201101220112101111,GXGXXG100110100122212,GXGXGG1,G2為起作用約束，G3為不起作用約束。設(shè)則020102012420101220111,