最優(yōu)化理論與方法 第二章 習(xí)題答案

2.1證:矩陣的秩(rank)是指矩陣中線性獨(dú)立行或列的最大數(shù)量,由題知矩陣??的秩是??,這意味著存在m個(gè)線性獨(dú)立的行（或列）,這??個(gè)線性獨(dú)立的行（或列）不能被A中的其他行（或列）通過線性組合來表示,由于??是一個(gè)m×n矩陣,它最多有n列.由于??至少有m個(gè)線性獨(dú)立的列,并且它最多有n列,這意味著??個(gè)線性獨(dú)立的列必須全部存在,因此m必須小于或等于n.2.2證:方程組Ax=b有唯一解意味著對(duì)于給定的m×n矩陣A和向量b,存在一個(gè)唯一的向量x使得方程成立.如果A的秩rank(A)等于n,這意味著A的所有列向量都是線性獨(dú)立的,因此A是滿秩的.進(jìn)一步,如果增廣矩陣[A∣b]的秩rank[??∣??]也等于??,這表明向量b可以由A的列向量唯一地線性組合表示,即b屬于A的列空間.由于A的列向量構(gòu)成了Rn的一組基,這意味著存在唯一的線性組合系數(shù)x使得Ax=b成立.如果存在兩個(gè)不同的解x1?和x2?,它們都滿足Ax=b,那么A(x1?x2??)=0,但由于A的列向量是線性獨(dú)立的,唯一滿足這個(gè)方程的是x1?x2=0?,即x1=x2?.這證明了方程組Ax=2.3證:根據(jù)線性代數(shù)的知識(shí),我們知道在??維空間Rn中,最多只能有n個(gè)線性無關(guān)的向量.如果有超過n個(gè)向量,它們必然是線性相關(guān)的.這意味著至少存在一組非全零的標(biāo)量α1,α2…,αk?,現(xiàn)在,假設(shè)我們有k≥n+2個(gè)向量a1,a2…,ak.由于k≥n+1,根據(jù)題目給定的條件,這些向量一定是線性相關(guān)的.我們可以找到一組標(biāo)量α1,α2…,αk,使得i=1kαiai=0,并且至少有一個(gè)αi≠0.為了滿足i=1kαi=0,我們可以進(jìn)行如下操作:首先,選擇一個(gè)非零的標(biāo)量αj,然后調(diào)整其他標(biāo)量,使得αj?的值減去其他所有標(biāo)量的和等于0.具體來說,我們可以設(shè)置αj=1,然后將α2.4證:（1）為了簡化計(jì)算,先對(duì)矩陣M進(jìn)行行變換,即交換第i行和第i+(m?k)行（對(duì)于i=1,2,…,k）,這樣可以將Mk,k塊移動(dòng)到矩陣的左上角,同時(shí)Im?k?∣detM∣=|detMk,k根據(jù)分塊矩陣的行列式性質(zhì),當(dāng)分塊矩陣的右上角是零矩陣時(shí),其行列式等于主對(duì)角線子矩陣的行列式乘積;當(dāng)分塊矩陣的右下角是單位矩陣時(shí),其行列式等于左上角的子矩陣的行列式.因此:|detMk,kOk,m?kMm?k,kIm?k綜上,我們證明了∣detM∣=∣detMk,k∣（2）由（1）知∣detM∣=∣detMk,k∣.為了使得

detM=det(?Mk,k)

成立,我們需要考慮特別地,當(dāng)Mk,k

是奇異矩陣（即

detMk,k=0）時(shí),無論Mk,k的符號(hào)如何變化,其行列式都是0.因此,在這種情況下,detM=det(?當(dāng)Mk,k是非奇異矩陣（即

detMk,k≠0）時(shí),detM

和

det(?Mk,k)

的符號(hào)是不同的（因?yàn)?/p>

det(?Mk,k?)=?detMk,k）.此時(shí),detM=det(?Mk,k2.5證：（1）對(duì)集合S中任意兩點(diǎn)，及每個(gè)數(shù)，有由題設(shè)，有因此，，故S是凸集。（2）對(duì)集合S中任意兩點(diǎn)，及每個(gè)數(shù)，有由題設(shè)，有因此，，故S是凸集。（3）對(duì)集合S中任意兩點(diǎn)，及每個(gè)數(shù)，有由題設(shè)，有因此，，故S是凸集。2.6證：對(duì)任意兩點(diǎn)及每個(gè)數(shù)，根據(jù)集合S的定義，存在，使，由于C是凸集，必有，因此，，故S是凸集。2.7證：對(duì)任意兩點(diǎn)及每個(gè)數(shù)，存在，使，因此有，，而，故，即S是凸集。2.8證：用數(shù)學(xué)歸納法。當(dāng)時(shí)，由凸集的定義知上式顯然成立。設(shè)時(shí)結(jié)論成立，當(dāng)時(shí)，有由于時(shí)結(jié)論也成立。從而得證。2.9設(shè)A是m×n矩陣，B是l×n矩陣，，證明下列兩個(gè)系統(tǒng)恰有一個(gè)有解：系統(tǒng)1Ax≤系統(tǒng)2AT證由于Bx=Bx≤0因此系統(tǒng)1有解，即AB?根據(jù)Farkas定理，得(ATBT無解.記u無解.反之亦然。2.10設(shè)A是m×n矩陣，c∈Rn，則下列兩個(gè)系統(tǒng)恰有一個(gè)有解：系統(tǒng)1Ax系統(tǒng)2A證若系統(tǒng)1有解，即A有解，則根據(jù)Farkas定理，有A無解，即AA無解.反之，若ATy≥c,y≥0有解，即A有解，亦即A有解.根據(jù)Farkas定理，有A無解，即Ax無解.2.11證明Ax≤，.證根據(jù)Farkas定理，只需證明ATy無解，事實(shí)上，AT1對(duì)此線性方程組的增廣矩陣做初等行變換：1此線性方程組ATy=c的系數(shù)矩陣與增廣矩陣的秩不等，因此無解，即ATy2.12證明下列不等式組無解：證將不等式組寫作Ax<0根據(jù)Gordan定理，只需證明ATy=1ATy=0y12.13判別下列函數(shù)是否為凸函數(shù)：(1)(2)(3)(4)(5)解：（1）為半正定矩陣，故是凸函數(shù)。為不定矩陣，故不是凸函數(shù)。因此Hesse矩陣為半正定矩陣，因此是凸函數(shù)。（4）于是Hesse矩陣為不定矩陣，故不是凸函數(shù)。（5）的Hesse矩陣為做合同變換：由此可得為不定矩陣，因此不是凸函數(shù)。2.14設(shè)，，是否為S上的凸函數(shù)？解：函數(shù)的Hesse矩陣為易知在集合S上不是半正定矩陣，如在點(diǎn)(0,1)處的Hesse矩陣是，是不定矩陣。因此不是S上的凸函數(shù)。2.15證明為嚴(yán)格凸函數(shù)的充要條件是Hesse矩陣A正定。證先證必要性。設(shè)是嚴(yán)格凸函數(shù)。根據(jù)定理1.4.14，對(duì)任意非零向量x及=0，必有（1）將在=0處展開，有（2）有（1）式和（2）式知由于式二次凸函數(shù)，因此即A正定。再證充分性。設(shè)A正定，對(duì)任意兩個(gè)不同點(diǎn)x和=0，根據(jù)中值定理，有根據(jù)定理1.4.14，是嚴(yán)格凸函數(shù)。2.16設(shè)f是定義在Rn上的函數(shù)，如果對(duì)每一點(diǎn)x∈Rn及正數(shù)t均有f(tx)=tf(x)，則稱f為正齊次函數(shù)。證明Rn上的正齊次函數(shù)f為凸函數(shù)的充要條件是，對(duì)任何x(1)，x(2)∈Rn，有證先證必要性。設(shè)正齊次函數(shù)是凸函數(shù)，則對(duì)任意兩點(diǎn)必有由于是正齊次函數(shù)，有代入前式得，即.再證充分性.設(shè)正齊次函數(shù)對(duì)任意的x(1)，x(2)∈Rn滿足，則對(duì)任意的x(1)，x(2)∈Rn及每個(gè)數(shù)λ∈0fλ因此是Rn上的凸函數(shù)。2.17證:假設(shè)有一個(gè)矩陣A,它的范數(shù)||A||<1,若把矩陣A乘以自己k次,得到的新矩陣Ak的范數(shù)不會(huì)超過??的范數(shù)的k次方,即||A||k≤||A||k.因?yàn)閨|A||<1,我們可以把||A||k想象成1元的k次方,這就像是一個(gè)不斷縮小的數(shù)列.這個(gè)數(shù)列的和是有限的.隨著k變得越來越大,||A||k會(huì)越來越小,最終趨近于0.這是因?yàn)槊看蝛增加,||A||k2.18證:對(duì)于矩陣A,特征值λ滿足Ax=λx,其中x是非零向量.對(duì)于任意非零向量x,我們有:||Ax||≤||A||如果Ax=λx,那么:||λ||?||x||=||Ax||≤||A|||λ|≤||A||由于這個(gè)不等式對(duì)任意非零向量x都成立,特別是對(duì)于對(duì)應(yīng)于最大特征值的單位特征向量,有:max1≤i≤n∣λi?(A)∣≤2.19解:（1）梯度是一個(gè)向量,其分量是函數(shù)對(duì)每個(gè)變量的偏導(dǎo)數(shù).將函數(shù)??(x)展開得到:??(x)=(a1?x1?+a2?x2?+…+anxn))?(b1x1?+b2x2?+…+bnxn??).對(duì)于即梯度向量???(??)的第i個(gè)分量是ai(bT??)+bi(a（2）Hessian矩陣的每個(gè)元素fij是??(x)中元素的二階偏導(dǎo)數(shù).由題知??(x)是兩個(gè)線性項(xiàng)的乘積,它的Hessian矩陣將會(huì)是一個(gè)對(duì)角矩陣,因?yàn)橹挥衳i和對(duì)于??(x),Hessian矩陣??(x)由下式給出:對(duì)于對(duì)角線上的元素fii,我們有:fii=?2f?xi2=2(aTb),對(duì)于非對(duì)角線上的元素fij因此,Hessian矩陣??(x)可以表示為:??(x)=2(aTb)I,2.20解:已知??(t)=??(g(t)),根據(jù)鏈?zhǔn)椒▌t有:df(t)dt=???(g(t)由g(t)=[3t+5,2t?6]T可得:dg(t)dt=[d(3t+5)dt,d(2t?6)dt]=[3,2],由??(x)=x126+x224得:???因此,df2.21解:要在同一張圖上繪制兩個(gè)函數(shù)的水平集,我們需要分別解出??1(x1,x2)=12和??2(x??1(x1,x2已知??1(x1,x2)=x12-x22??2(x1,x2)已知:??2(x1,x2)=2x1x2=16,可知:x1在一張平面坐標(biāo)系中,我們可以繪制這些水平集.對(duì)于??1?,我們將x2作為參數(shù),分別計(jì)算x1的正負(fù)平方根,得到兩個(gè)拋物線.對(duì)于??2?,我們同樣將x2?要尋找fx=[從第二個(gè)開始解得:x1=8x2,將x1代入第一個(gè)方程,有:8x22-x22=12,即:64x22-x22=12,x24+12故滿足題意的點(diǎn)[x1?,x2]T是:圖像如下:(橫坐標(biāo)是x2,縱坐標(biāo)是x12.22泰勒級(jí)數(shù)是函數(shù)在某一點(diǎn)的無窮級(jí)數(shù)展開,它可以用函數(shù)在該點(diǎn)的導(dǎo)數(shù)來表示.給定函數(shù)??(x)和展開點(diǎn)x0（1）已知函數(shù)??(??)=x1e?x2+x22+1,展開點(diǎn)x0=[1?,0]T,首先計(jì)算??(??)在x0處的值,即0階導(dǎo)數(shù)??(x0):??接下來,我們計(jì)算1階導(dǎo)數(shù)??′(??),由于??(??)是兩個(gè)變量x1和x2的函數(shù),我們需要分別對(duì)x1和x2求偏導(dǎo),求導(dǎo)可得:?f?x1=e?x2,計(jì)算2階導(dǎo)數(shù)??′′(??),?2f?x12=0,?2f?x22=x1e?x2+2,?2現(xiàn)在,我們可以寫出??(x)在x0處的泰勒級(jí)數(shù)展開式,忽略三次及更高階項(xiàng)??(x)=2+[1,-1]?[x1?1?,x2]T+12[x1?1?,x2]?0?1?13?（2）已知函數(shù)??(??)=x14+2x12x22+x24,展開點(diǎn)x0=[1?,1]T,首先計(jì)算??(??)在接下來,我們計(jì)算1階導(dǎo)數(shù)??′(??),由于??(x)是兩個(gè)變量x1和x2的函數(shù),我們需要分別對(duì)x1和x2求偏導(dǎo):?f?x1=4x13+4x1計(jì)算2階導(dǎo)數(shù)??′′(??),?2f?x12=12x1+4x22,?2f?x22=4x1現(xiàn)在,我們可以寫出??(x)在x0??(x)=4+[8,8]