非線性最優(yōu)化計(jì)算方法與算法

畢業(yè)論文題 目 非線性最優(yōu)化計(jì)算方法與算法 學(xué) 院 數(shù)學(xué)科學(xué)學(xué)院 專 業(yè) 信息與計(jì)算科學(xué) 班 級(jí) 計(jì)算1201 學(xué) 生 陶紅 學(xué) 號(hào) 20120921104 指導(dǎo)教師 邢順來(lái) 二一六年五月二十五日歡迎下載摘 要非線性規(guī)劃問(wèn)題是一般形式的非線性最優(yōu)化問(wèn)題。本文針對(duì)非線性規(guī)劃的最優(yōu)化問(wèn)題進(jìn)行方法和算法分析。傳統(tǒng)的求解非線性規(guī)劃的方法有最速下降法、牛頓法、可行方向法、函數(shù)逼近法、信賴域法，近來(lái)研究發(fā)現(xiàn)了更多的求解非線性規(guī)劃問(wèn)題的方法如遺傳算法、粒子群算法。本文對(duì)非線性規(guī)劃分別從約束規(guī)劃和無(wú)約束規(guī)劃兩個(gè)方面進(jìn)行理論分析。利用最速下降法和牛頓法兩種典型算法求解無(wú)約束條件非線性規(guī)劃問(wèn)題，通過(guò)MATLAB程序求解最優(yōu)值，探討其收斂性和穩(wěn)定性。另外給出了阻尼牛頓法，探討其算法的收斂性和穩(wěn)定性，求解無(wú)約束非線性規(guī)劃比牛頓法的精確度更高，收斂速度更快。懲罰函數(shù)是經(jīng)典的求解約束非線性的方法，本文采用以懲罰函數(shù)法為核心的遺傳算法求解有約束條件非線性規(guī)劃問(wèn)題，通過(guò)MATLAB程序求解最優(yōu)值，探討其收斂性和穩(wěn)定性。并改進(jìn)遺傳算法，給出適應(yīng)度函數(shù)，通過(guò)變換適應(yīng)度函數(shù)，提高算法的收斂性和穩(wěn)定性。關(guān)鍵詞：非線性規(guī)劃；最速下降法；牛頓法；遺傳算法ABSTRACTNonlinear programming problem is the general form of the nonlinear optimization problem. In this paper, we carry on the analysis of the method and algorithm aiming at the optimization problem of nonlinear programming. The traditional methods of solving nonlinear programming problems include steepest descent method, Newton method, the feasible direction method, function approximation method and trust region method. Recent studies found more method of solving nonlinear programming problems, such as genetic algorithm, particle swarm optimization (pso) algorithm. In this paper, the nonlinear programming is analyzed from two aspects: the constraint programming and the unconstrained programming.We solve unconstrained condition nonlinear programming problem by steepest descent method and Newtons method, and get the optimal value through MATLAB. Then the convergence and stability are discussed. Besides, the damped Newton method is furnished. By discussing the convergence and stability of the algorithm, the damped Newton method has higher accuracy andfaster convergent speed than Newtons method in solving unconstrained nonlinear programming problems.Punishment function is a classical method for solving constrained nonlinear. This paper solves nonlinear programming problem with constraints by using genetic algorithm method, the core of which is SUMT. Get the optimal value through MATLAB, then the convergence and stability are discussed. Improve genetic algorithm, give the fitness function, and improve the convergence and stability of the algorithm through transforming the fitness function.Key words：Nonlinear Programming; Pteepest Descent Method; Newton Method; GeneticAlgorithm目 錄摘要IABSTRACTII1 前言11.1 引言11.2 非線性規(guī)劃的發(fā)展背景21.3 國(guó)內(nèi)外研究現(xiàn)狀21.4 研究主要內(nèi)容及研究方案31.4.1 研究的主要內(nèi)容31.4.2 研究方案31.5 研究難點(diǎn)42 預(yù)備知識(shí)52.1 向量和矩陣范數(shù)52.1.1 常見(jiàn)的向量范數(shù)52.1.2 譜范數(shù)62.2符號(hào)和定義62.3 數(shù)值誤差72.4 算法的穩(wěn)定性72.5 收斂性93 非線性規(guī)劃模型103.1 非線性規(guī)劃模型103.2 無(wú)約束非線性規(guī)劃113.2.1 最速下降法133.2.2 牛頓法153.2.2 阻尼牛頓法163.3 約束非線性規(guī)劃173.3.1 懲罰函數(shù)法183.3.2 遺傳算法183.3.3 自適應(yīng)遺傳算法20結(jié)論23參考文獻(xiàn)24致謝25附錄26歡迎下載1 前言1.1 引言我們知道最優(yōu)化是一門很古老的求極值問(wèn)題，最優(yōu)化在求解線性規(guī)劃，非線性規(guī)劃，隨機(jī)規(guī)劃，多目標(biāo)規(guī)劃，非光滑規(guī)劃，整數(shù)規(guī)劃，幾何規(guī)劃等方面研究得到迅速發(fā)展。而且最優(yōu)化方法在經(jīng)濟(jì)計(jì)劃，交通運(yùn)輸,工程計(jì)劃，生產(chǎn)管理等方面廣泛應(yīng)用，成為一門比較受歡迎的學(xué)科。最優(yōu)化方法與算法是在本世紀(jì)40年代末形成的一門獨(dú)立學(xué)科。早在17世紀(jì)的時(shí)候，牛頓和萊布尼茲研究出微積分的時(shí)代，就已經(jīng)提出了函數(shù)的極大極小值得問(wèn)題3,4然后出現(xiàn)了拉格朗日乘子法和柯西的最速下降法，到20世紀(jì)30年代的時(shí)候，最優(yōu)化理論才開(kāi)始迅速的發(fā)展，成為一門獨(dú)立的學(xué)科，1930年蘇聯(lián)數(shù)學(xué)家提出了小規(guī)模的線性規(guī)劃問(wèn)題，1939年hitchcocck在生產(chǎn)管理和交通運(yùn)輸方面研究出了什么是線性規(guī)劃，并且在1947年Dantzing提出了求解線性規(guī)劃的方法：?jiǎn)渭冃畏?。后?lái)緊接著又提出了線性規(guī)劃的對(duì)偶性理論，KT條件，奠定了非線性規(guī)劃的基礎(chǔ)，隨著時(shí)代的發(fā)展，非線性最優(yōu)化問(wèn)題已經(jīng)被人們提上了日程，非線性最優(yōu)化是在20世紀(jì)50年代形成了一門數(shù)學(xué)類的學(xué)科。是在線性規(guī)劃的基礎(chǔ)上發(fā)展起來(lái)的，并且研究出了求解無(wú)約束規(guī)劃的DFP變尺度方法，最速下降法和牛頓法，擬牛頓法，無(wú)約束方法研究至今在應(yīng)用的方法為Powell法，Powell法是一種改進(jìn)的共軛方向法，也是迄今為止求解無(wú)約束非線性規(guī)劃最有效的方法。而求解約束非線性規(guī)劃問(wèn)題最主要的方法主要有可行方向法，懲罰函數(shù)法，投影梯度法等方法。最優(yōu)化計(jì)算與方法是一門應(yīng)用很廣泛且很受人歡迎的一門學(xué)科，他研究數(shù)學(xué)意義基礎(chǔ)上的問(wèn)題的最優(yōu)解，既是對(duì)給出的實(shí)際問(wèn)題從很多種方案中選出最優(yōu)解。最優(yōu)化理論涉及的內(nèi)容較為廣泛，包括數(shù)學(xué)分析，數(shù)值計(jì)算，數(shù)值分析，最優(yōu)化方法，高等代數(shù)等學(xué)科。且實(shí)用性很強(qiáng)，在現(xiàn)實(shí)生活中把實(shí)際問(wèn)題轉(zhuǎn)化為最優(yōu)化問(wèn)題，在數(shù)學(xué)建模、數(shù)值分析方面上有顯著的應(yīng)用。而我們知道最優(yōu)化的一般理論是轉(zhuǎn)化為求數(shù)學(xué)式子的極小值，它的一般形式為：,其中是決策變量，是目標(biāo)函數(shù)，為可行域。而最優(yōu)化的求解過(guò)程一般是迭代過(guò)程，就是給出初始值按照某種迭代規(guī)律進(jìn)行計(jì)算。最后計(jì)算出一個(gè)點(diǎn)或者一個(gè)極限值就是所求的最優(yōu)解4,17。我們所采用的計(jì)算工具就是使用MATLAB來(lái)完成的，我們知道MATLAB比高級(jí)語(yǔ)言執(zhí)行能力低，但編程效率可讀性高于高級(jí)語(yǔ)言，對(duì)于那些對(duì)編程不感興趣的同學(xué)來(lái)說(shuō)，這是一個(gè)很好的作弊軟件。用MATLAB我們可以很容易就得到我們想要的答案，不必再去寫那些繁雜又難懂的程序啦。但是我們?cè)谟?jì)算過(guò)程中，會(huì)出現(xiàn)數(shù)值誤差，數(shù)值誤差對(duì)計(jì)算結(jié)果會(huì)產(chǎn)生很大的影響，我們?cè)诶盟惴ㄇ蠼庾顑?yōu)值的時(shí)候往往得到的是近似值，他意味在每一次的迭代過(guò)程中將會(huì)產(chǎn)生數(shù)值誤差，從而最終的計(jì)算結(jié)果是不可估量的。算法的穩(wěn)定性分析對(duì)求解非線性的最優(yōu)值有重要的影響7，18。1.2 非線性規(guī)劃的發(fā)展背景非線性規(guī)劃是運(yùn)籌學(xué)的分支之一，直到最近以來(lái)發(fā)展迅速，應(yīng)用范圍越來(lái)越廣，并且不斷產(chǎn)生新的方法和算法，由傳統(tǒng)的最速下降法，牛頓法，可行方向法，函數(shù)逼近法，信賴域法，到遺傳算法，神經(jīng)網(wǎng)絡(luò)，蟻群算法，粒子群算法等發(fā)生了量的改變，原本求解非線性規(guī)劃問(wèn)題是人們的一大難題，隨著時(shí)代的發(fā)展，求解非線性規(guī)劃問(wèn)題也被提上日程，在各個(gè)領(lǐng)域都有涉及，如經(jīng)濟(jì)，管理，最優(yōu)設(shè)計(jì)，質(zhì)量控制，系統(tǒng)控制等方面得到廣泛應(yīng)用17。非線性規(guī)劃是在線性規(guī)劃的基礎(chǔ)上發(fā)展起來(lái)的，在1951年庫(kù)恩和塔克發(fā)表了關(guān)于最優(yōu)性條件的論文標(biāo)志著非線性規(guī)劃理論的誕生。為非線性最優(yōu)化的發(fā)展奠定了理論基礎(chǔ)。在20世紀(jì)50年代得出二次規(guī)劃，目標(biāo)規(guī)劃，多目標(biāo)規(guī)劃和可分離規(guī)劃的多種解法。且他們都是以單純型法為基礎(chǔ)的，隨著計(jì)算機(jī)的發(fā)展，非線性最優(yōu)化得到迅速的發(fā)展。出現(xiàn)了很多的求解非線性規(guī)劃最優(yōu)化的方法和算法3,4,7,11。一般來(lái)說(shuō)非線性規(guī)劃的建模和求解比較難，大量的研究學(xué)者把精力和時(shí)間放在這個(gè)上面。非線性規(guī)劃的最優(yōu)條件，充分和必要條件在1948年被John論證了。后來(lái)在1967年被Fromovitz和Mangasarain推廣，論證了包含等式和不等式條件的非線性規(guī)劃。非線性最優(yōu)化在優(yōu)化領(lǐng)域是一難點(diǎn)也是重點(diǎn)，而求解非線性最優(yōu)化的算法也成為人們研究的重點(diǎn)。在非線性最優(yōu)化中，有些方法的算法收斂速度較慢，計(jì)算次數(shù)多且較為繁雜，難以滿足人們的要求，因而我們需要將無(wú)約束優(yōu)化和約束優(yōu)化的優(yōu)點(diǎn)結(jié)合起來(lái)。得到新的算法，滿足問(wèn)題的要求3,4,13,16,17 。 求解非線性的方法有最速下降法，牛頓法，可行方向法，函數(shù)逼近法，信賴域法。近來(lái)研究發(fā)現(xiàn)了更多的求解非線性最優(yōu)化問(wèn)題的方法如遺傳算法，蟻群算法，粒子群算法，神經(jīng)網(wǎng)絡(luò)。很多非線性最優(yōu)化問(wèn)題要比線性問(wèn)題求解要難得多，多種因素結(jié)合起來(lái)往往比單個(gè)因素要難，非線性最優(yōu)化的求解方法沒(méi)有統(tǒng)一固定的，因而相比較線性規(guī)劃而言，求解非線性最優(yōu)化是比較難的。1.3 國(guó)內(nèi)外研究現(xiàn)狀自1956年以來(lái)已經(jīng)有人從事非線性規(guī)劃理論的最優(yōu)化方法和算法，然而這幾年從事非線性規(guī)劃的優(yōu)化問(wèn)題的研究人員越來(lái)越多。由于非線性規(guī)劃有重要的發(fā)展前景，使得國(guó)內(nèi)外領(lǐng)先技術(shù)工程師在此方面做出了大量的研究國(guó)內(nèi)領(lǐng)先的科研人員主要包括袁亞湘，馬昌鳳，陳家民，李董輝，賀國(guó)平，桂勝華等著名的優(yōu)化專家，袁亞湘的最優(yōu)化理論與方法以及馬昌鳳的最優(yōu)化方法及其MATLAB程序設(shè)計(jì)等書(shū)刊，成為我們大學(xué)課堂上的課本。而國(guó)外的一些優(yōu)化專家有一些典型代表如F.Facchinei，G.Liuzzi，S.Lucidi，P.Spellcci，R.Fletcher，S.Leyffer等在優(yōu)化領(lǐng)域做出很高的成就。線性最優(yōu)化經(jīng)歷了從單變量規(guī)劃到多變量規(guī)劃，產(chǎn)生了量的改變。從小規(guī)模到大規(guī)模變化，從無(wú)約束的非線性最優(yōu)化到有約束的非線性最優(yōu)化。非線性規(guī)劃在實(shí)際生活中解決了很多的問(wèn)題7,16,17，很多的實(shí)際問(wèn)題在構(gòu)建成數(shù)學(xué)模型的時(shí)候就可以轉(zhuǎn)化為這一問(wèn)題。而我們?cè)趯?shí)際生活中所接觸的優(yōu)化問(wèn)題一般都是含有約束條件的，這也就體現(xiàn)了非線性規(guī)劃的無(wú)約束和有約束條件的最優(yōu)化問(wèn)題在被人們逐漸解決，并得到應(yīng)用。算法也被逐漸的改進(jìn)，由傳統(tǒng)的求解非線性的方法有單純性法、內(nèi)點(diǎn)法、拉格朗日法、共軛梯度法、最速下降法、牛頓法、可行方向法、函數(shù)逼近法、信賴域法，近來(lái)研究發(fā)現(xiàn)了更多的求解非線性最優(yōu)化的智能方法如遺傳算法、粒子群算法、神經(jīng)網(wǎng)絡(luò)、蟻群算法。最新的研究表示濾子法是一種新的研究非線性規(guī)劃的方法。但我們知道濾子法還不夠成熟，濾子法不具有懲罰函數(shù)所擁有的優(yōu)點(diǎn)，因而更引起了廣大學(xué)者的注意力。并越來(lái)越受人歡迎11,13,17。1.4 研究主要內(nèi)容及研究方案1.4.1 研究的主要內(nèi)容 本文針對(duì)非線性規(guī)劃的最優(yōu)化問(wèn)題進(jìn)行方法和算法分析，非線性規(guī)劃的最優(yōu)化方法由從傳統(tǒng)的求解非線性的方法有最速下降法，牛頓法，可行方向法，函數(shù)逼近法，信賴域法。近來(lái)研究發(fā)現(xiàn)了更多的求解非線性規(guī)劃問(wèn)題的方法如遺傳算法，粒子群算法，神經(jīng)網(wǎng)絡(luò)，蟻群算法等最優(yōu)化方法。研究非線性規(guī)劃問(wèn)題的方法至今為止多如牛毛，而我們主要是同過(guò)給出兩個(gè)特定的方法和算法求解非線性最優(yōu)化問(wèn)題，分別是求解無(wú)約束非線性規(guī)劃的最速下降法和牛頓法，還有就是求解約束非線性規(guī)劃問(wèn)題的遺傳算法和改進(jìn)的遺傳算法。研究非線性規(guī)劃分別從約束規(guī)劃和無(wú)約束線性規(guī)劃兩個(gè)方面進(jìn)行理論分析，無(wú)約束條件非線性最優(yōu)化方法以最速下降法和牛頓法為例求解非線性規(guī)劃最優(yōu)化問(wèn)題。最速下降法和牛頓法是典型的非線性規(guī)劃問(wèn)題的方法，在其收斂速度和準(zhǔn)確度上值得我們探求。求解有約束條件非線性最優(yōu)化方法遺傳算法和改進(jìn)的遺傳算法和改進(jìn)的遺傳算法，求解約束非線性規(guī)劃的最優(yōu)值，收斂性和穩(wěn)定性。并用MATLAB程序?qū)崿F(xiàn)，求解出數(shù)值解，非線性規(guī)劃的求解一般是通過(guò)迭代法來(lái)實(shí)現(xiàn)的，從滿足條件的初始條件一步一步的搜索下去，直到求解出最優(yōu)解。分析最優(yōu)化的方法和算法，算法的穩(wěn)定性和精確性是數(shù)值計(jì)算的重要研究?jī)?nèi)容。1.4.2 研究方案從數(shù)學(xué)領(lǐng)域來(lái)講，最優(yōu)化方法就是一種求極值的方法，利用約束條件和非約束條件求目標(biāo)函數(shù)的極小值問(wèn)題。非線性最優(yōu)化就是說(shuō)約束條件或者目標(biāo)函數(shù)有一個(gè)是非線性的，求解非線性最優(yōu)化問(wèn)題有兩種方法，一是解析法，另一個(gè)是數(shù)值法，本文利用數(shù)值法來(lái)研究非線性最優(yōu)化問(wèn)題。給出特定的方法求解其最優(yōu)值。并且我們知道算法是方法的精髓和靈魂。我們研究非線性最優(yōu)化問(wèn)題就必須的研究算法。利用MATLAB計(jì)算非線性最優(yōu)化問(wèn)題。本文給出了研究無(wú)約束非線性最優(yōu)化的三種算法和約束非線性最優(yōu)化的三種算法。我們采用最速下降法，牛頓法，阻尼牛頓法以及懲罰函數(shù)法，遺傳算法、自適應(yīng)遺傳算法為例探討非線性最優(yōu)化問(wèn)題。最速下降法和牛頓法是求解無(wú)約束非線性規(guī)劃的算法典例。本文通過(guò)對(duì)最速下降法，牛頓法，阻尼牛頓法的探究，來(lái)了解無(wú)約束非線性最優(yōu)化的方法。本文采用懲罰函數(shù)法，遺傳算法，自適應(yīng)遺傳算法來(lái)求解約束非線性最優(yōu)化問(wèn)題，求解約束非線性規(guī)劃的常用的算法有懲罰函數(shù)法，可行分析法，層次分析法而遺傳算法是以懲罰函數(shù)為核心，其精確度比傳統(tǒng)求解約束非線性規(guī)劃問(wèn)題的懲罰函數(shù)可行方向法更高。而本文給出了改進(jìn)的遺傳算法。利用遺傳算法和改進(jìn)的遺傳算法對(duì)比，研究約束非線性最優(yōu)化的方法和算法。1.5 研究難點(diǎn)（1）非線性最優(yōu)化問(wèn)題一直是受關(guān)注的熱點(diǎn)話題，在實(shí)際生活中應(yīng)用也很廣泛，前人研究較多。（2）非線性最優(yōu)化所存在的理論較多，在不同的領(lǐng)域當(dāng)中有不同的分析方法。（3）非線性最優(yōu)化的方法和算法很多，題目太大，研究較為麻煩。（4）非線性最優(yōu)化在求解其最優(yōu)值計(jì)算較為復(fù)雜需要用專門的工具來(lái)完成。2 預(yù)備知識(shí)2.1 向量和矩陣范數(shù)設(shè)表示n維空間向量， 表示n階矩陣所組成的線性空間。在和這兩個(gè)空間中，分別定義向量和矩陣范數(shù)向量的范數(shù) |x| 是大于等于零的數(shù)，它滿足以下幾個(gè)條件(1) ;(2) ;(3).向量的范數(shù)定義為：。2.1.1 常見(jiàn)的向量范數(shù) 1-范數(shù)：; 2-范數(shù)：; -范數(shù)：矩陣的范數(shù)是一個(gè)小于零的實(shí)數(shù)，它除了滿足跟向量范數(shù)相同的三條性質(zhì)外，還滿足其他兩條(4) 如果一個(gè)矩陣范數(shù)相對(duì)于某向量范數(shù)滿足下面的不等式，(5) 則稱矩陣范數(shù)和向量范數(shù)是相容的，然而若是，則稱矩陣是由向量范數(shù)誘導(dǎo)出來(lái)的算子范數(shù)，也稱從屬范數(shù)的矩陣范數(shù)，此時(shí)向量范數(shù)和算子范數(shù)通常采用相同的符號(hào)。因而向量范數(shù)的從屬范數(shù)為2.1.2 譜范數(shù) 特別在迭代算法中我們知道經(jīng)常用到譜范數(shù)，來(lái)討論其收斂性，則譜范數(shù)定義為4 。2.2符號(hào)和定義 ：一階導(dǎo)函數(shù)；， ：的一階導(dǎo)函數(shù)；=， ：二階導(dǎo)函數(shù)；=， ：的二階導(dǎo)函數(shù)；=， ：n維空間向量， ：n維矩陣空間。 定義 設(shè)個(gè)二階偏導(dǎo)數(shù)都存在，則稱函數(shù)在點(diǎn)處是二階可導(dǎo)的，并稱二階導(dǎo)數(shù)矩陣為Hesse矩陣3。2.3 數(shù)值誤差在數(shù)值計(jì)算過(guò)程中往往會(huì)出現(xiàn)各種各樣的誤差，在數(shù)值計(jì)算過(guò)程中總是會(huì)產(chǎn)生誤差，這有可能是人為造成的，也有可能是算法本身的造成的。而如何減小誤差則就成了關(guān)鍵的問(wèn)題，誤差主要是截?cái)嗾`差和舍入誤差。截?cái)嗾`差就是算法從連續(xù)系統(tǒng)到離散系統(tǒng)的過(guò)程的實(shí)現(xiàn)。誤差是經(jīng)過(guò)幾萬(wàn)次的計(jì)算形成的，積累形成的誤差就很大，因而就有可能導(dǎo)致錯(cuò)誤的結(jié)果，而初始值的選取就顯得尤為重要。舍入誤差就是在計(jì)算機(jī)執(zhí)行過(guò)程中由于位數(shù)的限制就需要四舍五入，因而就產(chǎn)生了舍入誤差，計(jì)算機(jī)所執(zhí)行的所執(zhí)行的位數(shù)是有限的，舍入誤差就是不可避免的。我們知道初始值得選取對(duì)數(shù)值計(jì)算的成敗有著重要的影響，在進(jìn)行計(jì)算過(guò)程中應(yīng)該盡可能的減少誤差18,19。本文主要是研究算法的舍入誤差，舍入誤差分析包括定性分析和定量分析，定量分析主要包括概率分析向前誤差分析，和向后誤差分析，區(qū)間誤差分析等但是定量誤差分析存在著局限性，因而人們不常使用，人們經(jīng)常使用的是定性誤差分析。在誤差的定性分析中，核心都是初始數(shù)據(jù)的誤差已經(jīng)在計(jì)算過(guò)程中產(chǎn)生的誤差對(duì)最優(yōu)值產(chǎn)生額影響，數(shù)值的穩(wěn)定性是對(duì)算法的初始值對(duì)計(jì)算結(jié)果不會(huì)產(chǎn)生大的變化，而產(chǎn)生大的變化的則說(shuō)明算法不穩(wěn)定18。2.4 算法的穩(wěn)定性在實(shí)際計(jì)算過(guò)程中，各種數(shù)據(jù)都會(huì)帶來(lái)誤差，即使在計(jì)算過(guò)程中初值誤差很小而經(jīng)過(guò)算法的迭代過(guò)程，誤差逐漸積累，對(duì)最后的結(jié)果也會(huì)產(chǎn)生一定的影響。而算法的穩(wěn)定性，是指算法在執(zhí)行過(guò)程中，對(duì)誤差是否可控22。通過(guò)一個(gè)例子分析：例如 ： 先進(jìn)行分部積分得得到遞推公式：給定初始值利用 遞推公式可以得到結(jié)果如下表所示：表2.1n數(shù)值結(jié)果n數(shù)值結(jié)果00.632121110.07735210.367879120,07177320.264241130.06694830.207271140.06273140.170893150.05903450.145533160.05545960.126802170.05719270.11238418-0.0294580.100932191.5596290.09161220-30.1924100.083877我們知道n=18和n=20的時(shí)候?yàn)樨?fù)值這是不可能的，出現(xiàn)了很大的誤差我們將現(xiàn)有的遞推公式改一下可以有：我們可以推算出 遞推得到數(shù)值結(jié)果如下表表2.2n數(shù)值結(jié)果n數(shù)值結(jié)果200.93256990.091612190.04837280.100932180.05008670.112384170.05277360.126802160.05571950.145533150.05901840.170893140.06273230.207277130.06694820.264241120.07177310.367879110.07735200.632121100.083877 分析表4.1和表4.2得 由于表4.1的初始值精度很高，但是到了n=8的時(shí)候出現(xiàn)了誤差。表4.2給出了n=20時(shí)的估計(jì)值，雖然精度不如表4.1但是準(zhǔn)確度很高，這兩種算法是完全等價(jià)的，但是最后的數(shù)值結(jié)果上卻存在一定的差距。表4.1的初始誤差很小，但是在遞推過(guò)程中產(chǎn)生的誤差逐漸累積，誤差值逐漸變大，最后的數(shù)值結(jié)果也就出錯(cuò)了，表4.2在剛開(kāi)始的時(shí)候是由于估算得到的結(jié)果，存在一定的誤差，但是隨著遞推的次數(shù)的增加，精確度提高了。在數(shù)值計(jì)算中，舍入誤差是累積增加的，這樣的說(shuō)是不穩(wěn)定，表4.1的就是遞推公式就是穩(wěn)定的，表4.2的遞推公式就是穩(wěn)定的18,19。2.5 收斂性 定義：設(shè)點(diǎn)列收斂到點(diǎn)滿足方程式則稱點(diǎn)列線性收斂到點(diǎn)則滿足則稱點(diǎn)列超線性收斂到點(diǎn)則滿足則稱點(diǎn)列的收斂速度是二次的。若一個(gè)算法有二次的有限終止性，這個(gè)算法所產(chǎn)生的點(diǎn)列是超線性收斂或者是二次的收斂速度，這是衡量一個(gè)算法的優(yōu)劣的一個(gè)方面3,4。 3 非線性規(guī)劃模型非線性規(guī)劃是指從多種優(yōu)化方案中選出最優(yōu)的那一個(gè)，隨著時(shí)代的發(fā)展，最優(yōu)化方法和算法得到人們的重視。并且得到了一些的理論成果。最優(yōu)化的數(shù)學(xué)模型： (3.1)其中滿足：并且有是連續(xù)的函數(shù)。 非線性規(guī)劃是指至少存在一個(gè)是非線性的。包含無(wú)約束規(guī)劃和約束規(guī)劃問(wèn)題。而約束規(guī)劃又包含等式約束和不等式約束，在此我們僅討論無(wú)約束規(guī)劃問(wèn)題和約束規(guī)劃問(wèn)題，這兩個(gè)方面。并通過(guò)簡(jiǎn)單的方法和算法討論其極值，收斂性，穩(wěn)定性3,4。3.1 非線性規(guī)劃模型本文主要考慮的是非線性規(guī)劃，數(shù)學(xué)模型為： , (3.2) ， 其中，以及都是定義在上的連續(xù)可微的多元實(shí)值函數(shù)。并且至少有一個(gè)是非線性的。記：我們?cè)诖税逊蔷€性規(guī)劃問(wèn)題化為有約束條件的非線性規(guī)劃，和無(wú)約束條件的非線性規(guī)劃。這里我們先定義兩個(gè)極值，即局部極小值和全局極小值。 局部極小值定義：若對(duì)于有則稱為局部極小值點(diǎn)，其中為非負(fù)的常數(shù)，要想滿足成立，即要求，則稱為嚴(yán)格局部極小值點(diǎn)。全局極小值定義：若對(duì)于有：則稱為全局極小值點(diǎn)，要想滿足成立，即要求，則稱為嚴(yán)格全局極小值點(diǎn)。由定義可以知道，全局極小值點(diǎn)一定是局部極小值點(diǎn)，（在實(shí)際生活中我們只求局部極小值點(diǎn)）4。3.2 無(wú)約束非線性規(guī)劃 無(wú)約束非線性規(guī)劃的數(shù)學(xué)模型：, (3.3)其中是定義在上的連續(xù)函數(shù)，且是非線性的。 無(wú)約束優(yōu)化問(wèn)題：的最優(yōu)化條件，有一階和二階條件，我們主要研究是二階無(wú)約束最優(yōu)。 無(wú)約束的極小的最優(yōu)化條件 定理3.2.1(必要條件)如果是可微函數(shù)，點(diǎn)是非線性規(guī)劃最優(yōu)化問(wèn)題(3.3)局部極小值點(diǎn)或局部極大值點(diǎn)的必要條件是 。 (3.4)我們稱作滿足方程 (3.4) 的點(diǎn)為無(wú)約束非線性規(guī)劃的一個(gè)穩(wěn)定點(diǎn)。舉例說(shuō)明穩(wěn)定點(diǎn)存在不同的位置圖3.1在圖片中“”表示極大值點(diǎn)，“”表示極小值點(diǎn)。還有一類點(diǎn)不是極大值也不是極小值，被稱作為鞍點(diǎn)。 定理3.2.2（充分條件）設(shè)為二階可微函數(shù)，且點(diǎn)滿足方程式并且有則稱作點(diǎn)為嚴(yán)格局部極小值點(diǎn)，這里的是的Hesse矩陣。 定理3.2.3（二階必要條件）設(shè)為二階可微函數(shù)，且點(diǎn)是的局部極小值點(diǎn)，則：， 定理3.2.4（二階充分條件）設(shè)為是中的二階可微函數(shù)且是連續(xù)的，若有點(diǎn)滿足并且的一個(gè)鄰域有則稱點(diǎn)是目標(biāo)函數(shù)的局部極小值點(diǎn)。無(wú)約束非線性最優(yōu)化問(wèn)題一般的算法都是迭代法，一系列的點(diǎn)通常作為最優(yōu)值點(diǎn)或者平穩(wěn)點(diǎn)。算法關(guān)于目標(biāo)函數(shù)可以產(chǎn)生一系列的點(diǎn)列柯收斂到最優(yōu)點(diǎn)或平穩(wěn)點(diǎn)。在數(shù)值計(jì)算中我們一般采用迭代法求解無(wú)約束非線性優(yōu)化問(wèn)題，本文介紹了兩種求解無(wú)約束非線性優(yōu)化問(wèn)題的數(shù)值計(jì)算方法，最速下降法和牛頓法（阻尼牛頓法）這兩種方法是最典型的求解無(wú)約束非線性規(guī)劃問(wèn)題的方法。迭代求極值是求解無(wú)約束優(yōu)化問(wèn)題的基本思想，即是給定一個(gè)初值，按照迭代準(zhǔn)則，求出的極小值點(diǎn)（若為無(wú)窮的點(diǎn)列是，其極限值就是其極小值）3,4。3.2.1 最速下降法 最速下降法是較早的求解最優(yōu)化問(wèn)題的計(jì)算方法，使用的是負(fù)梯度法。最速下降法也叫梯度法，負(fù)梯度方向，設(shè)為的連續(xù)函數(shù)。最速下降法的理論是根據(jù)一階泰勒展開(kāi)，即：. 由于則而實(shí)際中我們要求：的，可以選擇合適的使得最速下降法的取的是可近似看作，取可得到：由于則。最速下降法的線性收斂和全局收斂，算法較為簡(jiǎn)單，最開(kāi)始的時(shí)候計(jì)算則快速而準(zhǔn)確，但往往會(huì)出現(xiàn)跑偏現(xiàn)象，遠(yuǎn)離正確答案，不能得到正確解，如圖所示： 圖3.21. 算法：設(shè)定誤差；給定初始值，令；計(jì)算=；若|，則停止計(jì)算，否則=，則由得：令轉(zhuǎn)步驟23,4 2. MATLAB實(shí)現(xiàn)程序：（見(jiàn)附錄1）3. 求解無(wú)約束問(wèn)題： 有精確解=(1,1) 求解目標(biāo)函數(shù)目標(biāo)函數(shù)function f=fun(x)f=100*(x(1)2-x(2)2+(x(1)-1)2;M梯度文件function gf=gfun(x)gf=400*x(1)*(x(1)2-x(2)+2*(x(1)-1), -200*(x(1)2-x(2);終止準(zhǔn)則?。?取不同的初始值，可以得到如下結(jié)果：表3.1初始值迭代次數(shù)：k目標(biāo)函數(shù)值（0，0）11591.163*（2, 1）6111.1416*（1，-1）15511.2251*（-1，-1）14999.2536*（-1.2, 1）14351.1985*（10，-10）10251.0156*4. 調(diào)用方式：其中和是求解目標(biāo)函數(shù)和梯度。最速下降法求無(wú)約束非線性最優(yōu)化問(wèn)題，收斂是較為緩慢，且計(jì)算誤差值也比較大，一般不選擇采用這種方式，我們求解無(wú)約束非線性最優(yōu)化問(wèn)題，一般采用的是牛頓法。牛頓法在求解過(guò)程無(wú)論是從收斂性以及其穩(wěn)定性來(lái)看要好于最速下降法。阻尼牛頓法是改進(jìn)的牛頓法。3.2.2 牛頓法牛頓算法是最傳統(tǒng)的求解無(wú)約束最優(yōu)化的算法，也是收斂速度比較快的一種算法。牛頓算法發(fā)展經(jīng)歷了牛頓算法、阻尼牛頓法以及擬牛頓法。阻尼牛頓法和擬牛頓法在收斂速度和計(jì)算次數(shù)上明顯比之牛頓法要好，收斂更快一些，計(jì)算次數(shù)更少。本文研究非線性優(yōu)化問(wèn)題采用的是牛頓法和阻尼牛頓法4。牛頓法是利用迭代點(diǎn)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)對(duì)目標(biāo)函數(shù)進(jìn)行二次函數(shù)逼近，然后把二次函數(shù)的極小值點(diǎn)作為新的迭代點(diǎn)，一直持續(xù)這一做法，直到達(dá)到所要求的精度要求，迭代完成。牛頓法的迭代公式： 設(shè)，Hesse矩陣連續(xù)，取的泰勒展開(kāi)的前三項(xiàng)：，其中是點(diǎn)的函數(shù)值，是一階導(dǎo)數(shù)，是二階導(dǎo)數(shù)，求的穩(wěn)定點(diǎn)。非奇異，那上面線性方程的牛頓公式為： 牛頓法算法3,4： 牛頓法最突出的優(yōu)點(diǎn) 就是收斂速度快，且具有二階收斂的特性。而我們對(duì)于求解無(wú)約束優(yōu)化問(wèn)題，最常采用的算法是阻尼牛頓法，它的算法和牛頓法相似，但收斂速度和計(jì)算的準(zhǔn)確性方面要更好一些，下面是阻尼牛頓法的算法。3.2.2 阻尼牛頓法 阻尼牛頓法算法： ； ； ； 3. 阻尼牛頓法MATLAB程序（見(jiàn)附錄2） 4. 求解無(wú)約束最優(yōu)化問(wèn)題我們可知其中一個(gè)精確解目標(biāo)函數(shù)function f=fun(x)f=100*(x(1)2-x(2)2+(x(1)-1)2;M梯度文件function gf=gfun(x)gf=400*x(1)*(x(1)2-x(2)+2*(x(1)-1), -200*(x(1)2-x(2);Hesse矩陣文件function He=Hess(x)n=length(x);He=zeros(n,n);He=1200*x(1)2-400*x(2)+2, -400*x(1); -400*x(1), 200 ; 根據(jù)阻尼牛頓法，終止準(zhǔn)則取，取幾個(gè)不同的初始點(diǎn)，得到數(shù)值結(jié)果如下表表3.2 初始點(diǎn)迭代次數(shù)k目標(biāo)函數(shù)值（0,0）139.6238*（0.5,0.5）113.5183*（2,2）141.6322*（-1,-1）203.6221*（1,10）14.9039*（10,10）473.3426*（20,20）733.0386* 5. 調(diào)用方式：-1.2，1；其中分別為目標(biāo)函數(shù)、梯度、矩陣 阻尼牛頓法求解無(wú)約束問(wèn)題收斂速度是比較可觀的，阻尼牛頓法是牛頓法的優(yōu)化，求解無(wú)約束非線性規(guī)劃的精確度也更準(zhǔn)確，收斂速度比最速下降法和牛頓法要好。精確度較最速下降法和牛頓法更準(zhǔn)確。3.3 約束非線性規(guī)劃約束非線性規(guī)劃的數(shù)學(xué)模型, ， ， 有l(wèi)個(gè)等式約束條件；有m個(gè)不等式約束條件；其中， ()以及()都是定義在上的連續(xù)可微函數(shù)。并且至少存在一個(gè)是非線性的。對(duì)于求解約束非線性最優(yōu)化問(wèn)題，可行方向法，懲罰函數(shù)法計(jì)算繁瑣且誤差較大，精度不高，本文采用遺傳算法來(lái)求解約束非線性最優(yōu)化問(wèn)題，更好的提高了它的收斂速度，精度以及穩(wěn)定性。其遺傳算法的核心是懲罰函數(shù)法。懲罰函數(shù)是指根據(jù)約束條件特點(diǎn)構(gòu)造特定的罰函數(shù)加到目標(biāo)函數(shù)中去，從而得到增廣目標(biāo)函數(shù)，將約束優(yōu)化問(wèn)題轉(zhuǎn)化為求極小值優(yōu)化問(wèn)題。遺傳算法是新的改進(jìn)之后的懲罰函數(shù)法，在收斂速度和計(jì)算的精確度上遠(yuǎn)大于懲罰函數(shù)法，因而遺傳算法又叫做新的懲罰函數(shù)法8,13，16。3.3.1 懲罰函數(shù)法懲罰函數(shù)法的基本思想是根據(jù)約束條件的特點(diǎn)，將其轉(zhuǎn)化為某種懲罰函數(shù)加到目標(biāo)函數(shù)中去，從而將約束優(yōu)化問(wèn)題轉(zhuǎn)化為一系列的無(wú)約束問(wèn)題來(lái)求解。懲罰函數(shù)算法：懲罰函數(shù)作為經(jīng)典的求解約束非線性最優(yōu)化問(wèn)題的方法，在求解其最優(yōu)值時(shí)的收斂速度以及其收斂的準(zhǔn)確度還存在不足的地方，而遺傳算法作為改進(jìn)的懲罰函數(shù)法，精確度更高，收斂也更快。3.3.2 遺傳算法遺傳算法是一種生物自然遺傳和生物自然選擇機(jī)制的優(yōu)化方法，具有易操作性和全局優(yōu)化性的特點(diǎn)，適應(yīng)于很多的領(lǐng)域，在數(shù)學(xué)領(lǐng)域中求解約束非線性規(guī)劃最優(yōu)化問(wèn)題是人們常用的方法8,14。定義：根據(jù)生物演化，模擬演化過(guò)程中基因染色體的選擇、交叉和變異得到的算法。因而在整個(gè)進(jìn)化過(guò)程中，自然選擇，優(yōu)勝劣汰，較好的個(gè)體則較容易存活下來(lái)。遺傳算法一種適者生存和選擇機(jī)制中抽象出來(lái)的一種算法，又叫做基因算法。1. 遺傳算法和以往的最優(yōu)化算法有不同的地方遺傳算法不是解集本身，而是一種解集的編碼， 遺傳算法不是一個(gè)解，而是始于解得一個(gè)群， 遺傳算法不是使用的目標(biāo)函數(shù)和約束函數(shù)的導(dǎo)數(shù)，而是使用目標(biāo)函數(shù)本身，遺傳算法不是確定的狀態(tài)轉(zhuǎn)移規(guī)則，而是使用概率。2. 遺傳算法有三種遺傳操作然而對(duì)于遺傳算法的收斂性研究人員對(duì)進(jìn)化算法的運(yùn)行機(jī)理進(jìn)行研究表明，一般遺傳算法不一定是收斂的，只有每一次迭代保存了其最優(yōu)種子時(shí)，才是收斂的，研究人員利用通過(guò)對(duì)遺傳算法構(gòu)造馬爾柯夫鏈來(lái)證明的，并且證明是正確的。因而我們可以知道遺傳算法的發(fā)展進(jìn)化過(guò)程是一個(gè)馬爾柯夫過(guò)程。當(dāng)遺傳算法收斂時(shí)，解通常只是最優(yōu)解的一個(gè)近似解，我們知道數(shù)學(xué)分析中收斂時(shí)一個(gè)無(wú)限逼近的得到近似值，而遺傳算法所得到的解就是一個(gè)近似值，因而會(huì)產(chǎn)生一定的誤差，為了減少誤差的范圍，遺傳算法采用的是二進(jìn)制編碼14,15。遺傳算法是無(wú)論在收斂性還是穩(wěn)定性方面都比較好的一種求解最優(yōu)值的算法，存在多種不同的算法，然而幾種算法又有共同的特點(diǎn)： (1) 隨機(jī)初始可行解； (2) 給定一個(gè)評(píng)價(jià)函數(shù)； (3) 產(chǎn)生新的可行解； (4) 迭代； (5) 選擇和接受可行解的準(zhǔn)則； (6) 終止準(zhǔn)則； 遺傳算法的運(yùn)算：計(jì)算各個(gè)體的適應(yīng)度編碼和產(chǎn)生初始群體算法收斂準(zhǔn)則滿足否執(zhí)行選擇操作執(zhí)行交叉操作執(zhí)行變異操作輸出搜索結(jié)果計(jì)算各個(gè)體的適應(yīng)度計(jì)算各個(gè)體的適應(yīng)度編碼和產(chǎn)生初始群體算法收斂準(zhǔn)則滿足否執(zhí)行選擇操作執(zhí)行交叉操作執(zhí)行變異操作輸出搜索結(jié)果編碼和產(chǎn)生初始群體算法收斂準(zhǔn)則滿足否執(zhí)行選擇操作執(zhí)行交叉操作執(zhí)行變異操作輸出搜索結(jié)果編碼和產(chǎn)生初始群體算法收斂準(zhǔn)則滿足否執(zhí)行選擇操作執(zhí)行交叉操作執(zhí)行變異操作輸出搜索結(jié)果遺傳算法應(yīng)用于很多領(lǐng)域但是遺傳算法還需要完善其不足的地方，用遺傳算法研究最優(yōu)化問(wèn)題，通過(guò)調(diào)用遺傳算法的程序求解非線性規(guī)劃最優(yōu)化問(wèn)題，本文給出遺傳算法的MATLAB程序，利用遺傳算法來(lái)研究非線性最優(yōu)化方法和算法。并提出一些改進(jìn)機(jī)理，提高了算法的收斂性和穩(wěn)定性。 3. 遺傳算法MATLAB程序（見(jiàn)附錄3）3.3.3 自適應(yīng)遺傳算法本文對(duì)現(xiàn)有的遺傳算法進(jìn)行改進(jìn)，提出了一些改進(jìn)機(jī)理，提高了算法的運(yùn)行效率，收斂性。遺傳算法的改進(jìn)主要有下面幾點(diǎn)：1. 遺傳算法的搜索的主要方法是終止的適應(yīng)度值，更深層次的研究了適應(yīng)度函數(shù)的特點(diǎn)，和遺傳算法目標(biāo)函數(shù)的變化規(guī)律，提出基于線性變換的適應(yīng)度函數(shù)，通過(guò)實(shí)驗(yàn)及一般的線性變換進(jìn)行比較，利用適應(yīng)度函數(shù)提高遺傳算法的收斂性，精確度。對(duì)遺傳算子進(jìn)行改進(jìn)，分析了算法的優(yōu)缺點(diǎn)，提出最優(yōu)保存策略，隨機(jī)遍歷抽樣以及混合選擇策略。并且提出了適應(yīng)度線性逼近的策略，可以提高子代的適應(yīng)度，研究析了變異概率對(duì)遺傳算法的影響。并通過(guò)程序分析，提出了改進(jìn)的遺傳算法優(yōu)于現(xiàn)再遺傳算法，并提高了其收斂性，精確度等20,22。2. 自適應(yīng)遺傳算法：自適應(yīng)遺傳算法是根據(jù)適應(yīng)度調(diào)整變異概率和交叉概率，當(dāng)種群中的個(gè)體趨于局部最優(yōu)時(shí)增加變異概率和交叉概率，當(dāng)適應(yīng)度分散是較少變異概率和交叉概率，自適應(yīng)的交叉概率和變異概率提供個(gè)體最佳的交叉概率和變異概率，這樣既保持物種的多樣性，有保持了全局收斂22。3. 自適應(yīng)遺傳算法MATLAB程序（見(jiàn)附錄4）4. 適應(yīng)度函數(shù)的分析：通過(guò)改進(jìn)的遺傳水分，利用群體的適應(yīng)度來(lái)進(jìn)行分析，因而適應(yīng)度函數(shù)的選取尤為重要，它影響到遺傳算法的收斂速度以及精確度。一般的適度函數(shù)是根據(jù)目標(biāo)函數(shù)來(lái)確定的。由于適應(yīng)度為大于零的數(shù)，適應(yīng)度函數(shù)經(jīng)過(guò)變換得到，變換方法有冪函數(shù)變換法，線性變換法以及指數(shù)函數(shù)變換法等22。本文主要運(yùn)用線性變換法。5. 線性變換法假設(shè)由原來(lái)的適應(yīng)度函數(shù)為經(jīng)過(guò)變換的到的適應(yīng)度函數(shù)，要滿足條件，變換之后的適應(yīng)度的最大值應(yīng)該等于變換之前的平均值的特定的c倍，從而控制下一代的復(fù)制數(shù)，變換之后的適應(yīng)度應(yīng)該等于變換之前的平均值。即：。一般是1-2.，當(dāng)群體規(guī)模是50-100時(shí)是1.2-2。如圖3.3所示：圖3.3線性變換法變換了適應(yīng)度的差距，保持了多樣性，且計(jì)算簡(jiǎn)單容易實(shí)現(xiàn)。自適應(yīng)遺傳算法是基于線性變換的適應(yīng)度函數(shù)得到的，提高了算法的準(zhǔn)確度和收斂性。求解約束非線性規(guī)劃問(wèn)題： 用遺傳算法和自適應(yīng)遺傳算法求解非線性最優(yōu)化問(wèn)題。表3.3變量：xmyGA算法AdapGA算法精確解X10.56470.00000.0000X23.65494.00004.0000X30.00000.00000.0000F0.180350.00000.0000滿足約束條件的自適應(yīng)遺傳算法的MATLAB圖像。如圖3.4所示圖3.4 myGA算法自適應(yīng)遺傳算法求解非線性規(guī)劃最優(yōu)化問(wèn)題，可以得到更精確的解。 求解約束非線性最優(yōu)值，運(yùn)用懲罰函數(shù)法，可行性方向法，遺傳算法，自適應(yīng)遺傳算法來(lái)求解。表3.4變量：x懲罰函數(shù)法可行方向法myGA算法AdapGA 算法X10.6450.6300.8580.6589X20.8690.8740.8680,8682F6,5666.5446.61296.6130滿足約束條件的MATLAB的圖像。如圖3.5所示圖3.5 AdapGA 算法自適應(yīng)遺傳算法求解約束非線性最優(yōu)值問(wèn)題比遺傳算法要好，已經(jīng)非常的接近精確值，由于遺傳算法的解是隨機(jī)生成的，因而運(yùn)行的結(jié)果是不一樣，但誤差都限定在一定的范圍內(nèi)，因而遺傳算法對(duì)解決約束非線性最優(yōu)化問(wèn)題是可行的，并且得到的解優(yōu)于懲罰函數(shù)得到的解。但是myGA算法的變異，選擇，交叉操作都是獨(dú)立完成的，雖然可以搜索到最優(yōu)解，但是不一定可以收斂到最優(yōu)解，對(duì)于一些的單峰函數(shù)和嚴(yán)格單調(diào)的函數(shù)，myGA是可以滿足收斂到最優(yōu)解的，myGA收斂緩慢，且收斂不一定能得到最優(yōu)解，穩(wěn)定性較差，本文針對(duì)這一問(wèn)題提出了自適應(yīng)遺傳算法，提高了收斂速度和準(zhǔn)確度。結(jié) 論傳統(tǒng)的求解非線性最優(yōu)化的方法有最速下降法，牛頓法，可行方向法，函數(shù)逼近法，信賴域法等等，近來(lái)研究發(fā)現(xiàn)了更多的求解非線性最優(yōu)化問(wèn)題的方法如遺傳算法，蟻群算法，神經(jīng)網(wǎng)絡(luò)，粒子群算法。本文主要將非線性最優(yōu)化問(wèn)題分成了兩部分來(lái)解決，一是帶有約束條件非線性最優(yōu)化問(wèn)題，另一種是無(wú)約束條件非線性最優(yōu)化問(wèn)題。解決無(wú)約束非線性最優(yōu)化問(wèn)題主要以最速下降法和牛頓法，阻尼牛頓法為例求解非線性最優(yōu)值，最速下降法和牛頓法是傳統(tǒng)意義上的求解無(wú)約束非線性最優(yōu)值。最速下降法收斂速度較慢并且需要大量的計(jì)算才能得到其近似值。牛頓法在收斂性方面要優(yōu)于最速下降法，而阻尼牛頓法在收斂和精確性方面較最速下降法和牛頓法收斂更快也更準(zhǔn)確。本文通過(guò)這三種方法來(lái)求解無(wú)約束非線性最優(yōu)化問(wèn)題。并且給出了各種方法的一種算法。使人們對(duì)無(wú)約束非線性最優(yōu)化問(wèn)題有初步的了解。求解無(wú)約束的非線性最優(yōu)化方法相比較于求解約束非線性規(guī)劃問(wèn)題是比較簡(jiǎn)單的。解決約束非線性問(wèn)題一直是求解最優(yōu)化問(wèn)題的難題，對(duì)于求解這個(gè)問(wèn)題的傳統(tǒng)方法已經(jīng)有很多，但是計(jì)算結(jié)果往往不令人滿意，誤差太大，或者偏離主題如可行方向法，懲罰函數(shù)法等方法這些方法繁雜難以理解，結(jié)果誤差太大不精確。而我們知道遺傳算法的核心是懲罰函數(shù)法，懲罰函數(shù)是求解約束非線性最優(yōu)化的所熟知的經(jīng)典方法，但存在收斂性差精確度不高等問(wèn)題，遺傳算法作為改進(jìn)的懲罰函數(shù)法，在根本上從很大程度上提高了算法的收斂性和穩(wěn)定性。本文以懲罰函數(shù)法，遺傳算法，自適應(yīng)遺傳算法為例，分析了約束非線性最優(yōu)化的方法和算法。使人們對(duì)約束非線性規(guī)劃的最優(yōu)化問(wèn)題有初步的了解。而遺傳算法作為一種高效的求解非線性最優(yōu)化的方法，已經(jīng)被廣大領(lǐng)域應(yīng)用。強(qiáng)大的數(shù)學(xué)理論和計(jì)算工具，使得最優(yōu)化問(wèn)題得到更好的研究。參 考 文 獻(xiàn)1 F.Facchinei, A. Fischer, C.Kanzow. On the accurate identification of active constraintsJSIAM Journal on Optimization, 1999, 9(1):14-322 G. Di Pillo, L. Grippo. On the exactness of a class of nondifferentiable penalty functionJ. Optim Theory and App. 1988, 57(3): 339-4103 馬昌鳳. 最優(yōu)化方法及其matlab程序設(shè)計(jì)M, 科學(xué)出版社4 袁亞湘，孫文瑜. 最優(yōu)化理論與方法M，北京，科學(xué)出版社, 19975 黃雍檢，陶冶, 錢祖平. 最優(yōu)化方法matlab應(yīng)用M，人民郵電出版社 6 劉興高，胡云卿. 應(yīng)用最優(yōu)化方法及MATLAB實(shí)現(xiàn)M，科學(xué)出版社7 陳加民. 非線性約束規(guī)劃問(wèn)題的算法研究D. 太原科技大學(xué), 2008.8 王興華. 懲罰函數(shù)法的改進(jìn)算法及應(yīng)用研究D. 燕山大學(xué), 2009. 9 王銀河. 非線性優(yōu)化問(wèn)題的罰函數(shù)算法和擬Newton算法D. 重慶大學(xué), 2010. 10 陳征，沈丹紅. 基于Matlab軟件的最優(yōu)化方法教學(xué)J