工程應(yīng)用數(shù)學(xué)智能算法

工程應(yīng)用數(shù)學(xué)智能算法第一頁，共五十三頁，2022年，8月28日主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）模擬退火（SimulatedAnnealing，SA）遺傳算法（GeneticAlgorithm，GA）第二頁，共五十三頁，2022年，8月28日生物神經(jīng)元及神經(jīng)網(wǎng)絡(luò)神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權(quán)重)是不相同的。另外，各突觸輸入抵達神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復(fù)雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡(luò)。第三頁，共五十三頁，2022年，8月28日一、人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)？它就是在對大腦的生理研究的基礎(chǔ)上，用模擬生物神經(jīng)元的某些基本功能元件（即人工神經(jīng)元），按各種不同的聯(lián)結(jié)方式組織起來的一個網(wǎng)絡(luò)。其目的在于模擬大腦的某些機理與機制，實現(xiàn)某個方面的功能，可以用在模仿視覺、模式識別、函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮等領(lǐng)域，是近年來人工智能計算的一個重要學(xué)科分支。人工神經(jīng)網(wǎng)絡(luò)有多種形式，其中反向傳播人工神經(jīng)網(wǎng)絡(luò)(Back-PropagationArtificialNetwork,簡稱BP網(wǎng)絡(luò))是一種廣泛使用的神經(jīng)網(wǎng)絡(luò)模型，它充分體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的特點。BP網(wǎng)絡(luò)是一種對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)，在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，80％～90％的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式。第四頁，共五十三頁，2022年，8月28日1.1BP神經(jīng)網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般為多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，還受神經(jīng)元內(nèi)部其它因素的制約，因此在人工神經(jīng)元的建模中，常常加一額外輸入信號，稱為偏差(bais)，并取值為1。

輸入分量權(quán)值分量

神經(jīng)元的輸出偏差權(quán)值

激活函數(shù)輸入分量通過與它相乘的權(quán)值分量相連，求和后與偏差權(quán)值共同構(gòu)成激活函數(shù)的輸入

。第五頁，共五十三頁，2022年，8月28日偏差神經(jīng)元的輸出為：

偏差b被簡單地加在上，作為激活函數(shù)的一個輸入分量。偏差的重要作用，它使得激活函數(shù)的圖形可以左右移動，這樣可增加網(wǎng)絡(luò)解決問題的能力。

第六頁，共五十三頁，2022年，8月28日激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmoid函數(shù)：雙曲正切tanh函數(shù)：Sigmoid函數(shù)和雙曲正切tanh函數(shù)都是單調(diào)上升函數(shù)，其極值分別為0、1和－1、＋1，且都是可微的。第七頁，共五十三頁，2022年，8月28日激活函數(shù)的一階導(dǎo)數(shù)在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中，要用到激活函數(shù)的一階導(dǎo)數(shù)。Sigmoid函數(shù)的導(dǎo)數(shù)：雙曲正切tanh函數(shù)的導(dǎo)數(shù)：由此可以看出，由于激活函數(shù)的特點，用神經(jīng)網(wǎng)絡(luò)計算時，需對輸入和輸出的值進行調(diào)整。激活函數(shù)是采用Sigmoid函數(shù)時，輸入和輸出的值應(yīng)在{0,1}之間；激活函數(shù)是雙曲正切tanh函數(shù)時，輸入和輸出的值范圍則在{－1,1}之間。第八頁，共五十三頁，2022年，8月28日1.2BP網(wǎng)絡(luò)的模型結(jié)構(gòu)BP網(wǎng)絡(luò)是一種在輸入層和輸出層之間具有一層或多層隱層的網(wǎng)絡(luò)模型，而其典型的結(jié)構(gòu)為有一隱層、包含輸入層和輸出層的三層網(wǎng)絡(luò)模型。典型BP網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如下：網(wǎng)絡(luò)的輸入模式向量為P，有r個輸入神經(jīng)元，對應(yīng)輸入模式向量的每個元素。

隱層內(nèi)有s1個神經(jīng)元，對應(yīng)隱層輸出是a1。網(wǎng)絡(luò)的輸出為a2，有s2個神經(jīng)元，而目標(biāo)輸出為T。

三層BP神經(jīng)網(wǎng)絡(luò)不同層神經(jīng)元之間實現(xiàn)權(quán)重連接，而每層內(nèi)各個神經(jīng)元之間不連接。第九頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的四個計算過程輸人模式由輸入層經(jīng)隱含層向輸出層的“模式正向傳播”過程；（神經(jīng)元的激活值從輸入層經(jīng)隱含層向輸出層傳播，在輸出層各神經(jīng)元獲得網(wǎng)絡(luò)響應(yīng)。）網(wǎng)絡(luò)實際輸出與希望輸出的誤差信號由輸出層經(jīng)隱含層向輸入層逐層修正連接權(quán)和閡值的“誤差反向傳播”過程；由“模式正向傳播”過程與“誤差反向傳播”過程的反復(fù)交替進行的網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程；網(wǎng)絡(luò)全局誤差趨向極小的學(xué)習(xí)收斂過程。（網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷增加。）第十頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的計算過程的簡單描述（1）模式正向傳播過程隱含層中第j個神經(jīng)元的輸出為：輸出層中第k個神經(jīng)元的輸出為：誤差反向傳播過程定義誤差函數(shù)為：

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程就是通過調(diào)整權(quán)值，使誤差E最小，此時可利用最速下降法求權(quán)值及誤差的反向傳播。第十一頁，共五十三頁，2022年，8月28日BP網(wǎng)絡(luò)的計算過程的簡單描述（2）隱含層中第j個神經(jīng)元的輸出的權(quán)值變化為：對第i個輸入到隱含層中第j個神經(jīng)元輸出的權(quán)值變化為：修正后的新權(quán)重調(diào)整為：

η稱為學(xué)習(xí)系數(shù)，值在{0,1}之間。

第十二頁，共五十三頁，2022年，8月28日加快BP網(wǎng)絡(luò)訓(xùn)練速度的方法

BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用，但也存在自身的不足與限制，主要表現(xiàn)在網(wǎng)絡(luò)訓(xùn)練需較長時間和網(wǎng)絡(luò)有可能達到局部最小。據(jù)此，BP網(wǎng)絡(luò)有各種改進方法，以加快訓(xùn)練速度，避免陷入局部極小。主要的改進方法有：增加動量項，以平滑權(quán)的變化，一種常用形式是：α為動量因子，值在{0,1}之間，n為迭代次數(shù)。

采用二階學(xué)習(xí)算法。前面的基于函數(shù)梯度的算法屬于一階算法，缺點就是在極值點附近收斂速度慢。采用二階算法，如牛頓法、共軛梯度法等，將有較快的收斂速度。模擬退火法等。第十三頁，共五十三頁，2022年，8月28日1.4BP神經(jīng)網(wǎng)絡(luò)計算（1）網(wǎng)絡(luò)的層數(shù)：在運用BP神經(jīng)網(wǎng)絡(luò)時，最多采用的是具有一層或兩層隱層的網(wǎng)絡(luò)。

具有偏差和至少一個S型隱層的網(wǎng)絡(luò)，可以近似任何函數(shù)，這已成為設(shè)計BP神經(jīng)網(wǎng)絡(luò)的原則。

網(wǎng)絡(luò)計算精度的提高，可以通過采用一個隱層，而增加隱層神經(jīng)元數(shù)的方法來獲得，這也就是通常用一隱層、包含輸入層和輸出層的三層BP網(wǎng)絡(luò)模型的原因。神經(jīng)元數(shù)：輸入和輸出的神經(jīng)元數(shù)可以根據(jù)需要求解的問題和數(shù)據(jù)所表示的方式來確定。問題確定后，輸入層與輸出層的神經(jīng)元數(shù)也就隨之定了。隱層神經(jīng)元數(shù)的選擇有較廣的范圍：當(dāng)隱層神經(jīng)元數(shù)較少時，誤差下降到一定程度后會變化很小；當(dāng)隱層神經(jīng)元數(shù)過多時，不僅網(wǎng)絡(luò)訓(xùn)練時間長，還會出現(xiàn)過擬合問題，降低神經(jīng)網(wǎng)絡(luò)的預(yù)測功能。通常隱層神經(jīng)元數(shù)的選擇原則是：在能解決問題的前提下，再加上1到2個神經(jīng)元以加快誤差的下降速度即可。第十四頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計算（2）初始權(quán)值的選取權(quán)重初始值的選取，對網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)是否達到局部最小，是否能夠收斂以及訓(xùn)練時間的長短有很大的關(guān)系。如果初始權(quán)值太大，使得加和后的值落在激活函數(shù)的飽和區(qū)，從而導(dǎo)致激活函數(shù)的導(dǎo)數(shù)非常小，在計算權(quán)值修正時，調(diào)整值接近零，網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練幾乎處在停止?fàn)顟B(tài)。所以一般總是希望經(jīng)過初始權(quán)值計算后每個神經(jīng)元的輸出值都接近零，這樣可以保證每個神經(jīng)元的權(quán)值都能在激活函數(shù)變化最大之處進行調(diào)節(jié)。一般來說，初始權(quán)值取{-1,1}之間的隨機數(shù)是較好的選擇。

第十五頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計算（3）學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01~0.8之間。在一個神經(jīng)網(wǎng)絡(luò)的計算過程中，使網(wǎng)絡(luò)經(jīng)過幾個不同的學(xué)習(xí)速率的訓(xùn)練，通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷所選定的學(xué)習(xí)速率是否合適。如果誤差平方和下降很快，則說明學(xué)習(xí)速率合適若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學(xué)習(xí)速率過大。對于每一個具體網(wǎng)絡(luò)都存在一個合適的學(xué)習(xí)速率。但對于較復(fù)雜網(wǎng)絡(luò)，在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率。為了減少尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時間，比較合適的方法是采用變化的學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段自動設(shè)置不同學(xué)習(xí)速率的大小。第十六頁，共五十三頁，2022年，8月28日1.3BP神經(jīng)網(wǎng)絡(luò)計算程序BATCHNET簡介BATCHNET是一個BP神經(jīng)網(wǎng)絡(luò)計算的DOS程序，程序由batchnet.exe和weights.exe兩個可執(zhí)行文件構(gòu)成。batchnet為網(wǎng)絡(luò)訓(xùn)練和預(yù)測程序，激活函數(shù)為Sigmoid函數(shù)，輸入輸出樣本值范圍為{0,1}。weights程序產(chǎn)生初始權(quán)值。批處理程序demo.batbatchnet-e10–d1.0e-5demo.run說明：-e10—

表示網(wǎng)絡(luò)每迭代10步后顯示誤差；-d1.0e-5—

表示網(wǎng)絡(luò)訓(xùn)練誤差；demo.run—

求解問題的網(wǎng)絡(luò)參數(shù)文件，由batchnet調(diào)用，文件名可改，但擴展名run不能變。

第十七頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計算程序BATCHNET簡介網(wǎng)絡(luò)參數(shù)文件demo.run的格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—運行次數(shù)，本例為4；

fOut—網(wǎng)絡(luò)計算結(jié)果輸出文件，輸出；fErr—網(wǎng)絡(luò)計算誤差文件，輸出；fPat—訓(xùn)練學(xué)習(xí)樣本文件，輸入；fWts—問題的初始權(quán)值文件，輸入，由程序weights產(chǎn)生；fWtso—訓(xùn)練后的權(quán)值文件，輸出；nPats—訓(xùn)練樣本數(shù)，本例為100；nIter—訓(xùn)練迭代次數(shù)，本例為1000；nInp—輸入層神經(jīng)元數(shù)目，本例為9；nHid—隱層神經(jīng)元數(shù)目，本例為4；nOut—輸出層神經(jīng)元數(shù)目，本例為2；eta—學(xué)習(xí)速率，本例為0.15；alpha—動量因子，本例為0.075。

表示用BP神經(jīng)網(wǎng)絡(luò)先對100對輸入輸出樣本進行學(xué)習(xí)訓(xùn)練1000次，預(yù)測166個樣本一次，然后繼續(xù)學(xué)習(xí)訓(xùn)練1000次后再進行一次預(yù)測。Batchnet如只計算一次，則不對連接權(quán)重進行更新。

第十八頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計算程序BATCHNET簡介程序weights的運行:weightsint_numnInpnHidnOutran_wts

說明：int_num—

任一6位整數(shù)；nInp—

輸入層神經(jīng)元數(shù)目；nHid—

隱層神經(jīng)元數(shù)目；nOut—

輸出層神經(jīng)元數(shù)目，這3個參數(shù)同run程序中的相一致；ran_wts—

初始權(quán)值取值范圍，實數(shù)1.表示取值范圍在{-1,1}之間。Weights1234569421.0第十九頁，共五十三頁，2022年，8月28日BP神經(jīng)網(wǎng)絡(luò)計算程序BATCHNET簡介訓(xùn)練樣本文件fPat的格式：說明：In_pat—

樣本的輸入；Out_pat—

對應(yīng)的樣本輸出；Id—

對應(yīng)的樣本標(biāo)號；

In_patOut_patId0.3636360.1916670.70.750.6666670.5312250.08983330.05042190.6844341012345670.3272730.1875010.7333330.750.80.5310380.08194420.05042190.801057101234567

第二十頁，共五十三頁，2022年，8月28日例題例題：合成烯胺中副產(chǎn)品的抑制（P249）在TiCl4的存在下，3,3-二甲基-2-丁酮和嗎啉合成嗎啉烯胺過程中會有一副產(chǎn)物。由于很難用精餾的方法將這副產(chǎn)物同產(chǎn)物烯胺分離，故需盡量抑制副產(chǎn)品的生成，為此，進行了下面一系列正交實驗研究。實驗條件見表1，實驗的設(shè)計和產(chǎn)率的結(jié)果見表2。請分析實驗結(jié)果，確定如何調(diào)節(jié)實驗條件，使烯胺的產(chǎn)率最大，而同時抑制副產(chǎn)品的生成。因素水平-1.414-1011.414x1：嗎啉/酮(mol/mol)3.003.595.006.417.00x2：TiCl4/酮(mol/mol)0.500.570.750.931.00x3：反應(yīng)溫度(℃)526080100108歸一化水平00.14640.50.85361第二十一頁，共五十三頁，2022年，8月28日實驗結(jié)果與歸一化序號x1x2x3y1y21-1-1-141.614.621-1-145.16.73-11-151.726.2411-164.717.75-1-1147.811.961-1157.17.57-11163.026.1811177.811.091.4140066.78.110-1.4140049.522.21101.414070.418.9120-1.414043.98.013001.41466.49.81400-1.41452.417.31500056.513.81600060.012.31700058.612.61800057.213.6x11x21x31y1y20.14750.140.1428570.4160.1460.85250.140.1428570.4510.0670.14750.860.1428570.5170.2620.85250.860.1428570.6470.1770.14750.140.8571430.4780.1190.85250.140.8571430.5710.0750.14750.860.8571430.6300.2610.85250.860.8571430.7780.11010.50.50.6670.08100.50.50.4950.2220.510.50.7040.1890.500.50.4390.0800.50.510.6640.0980.50.500.5240.1730.50.50.50.5650.1380.50.50.50.6000.1230.50.50.50.5860.1260.50.50.50.5720.136第二十二頁，共五十三頁，2022年，8月28日1.4關(guān)于ANN的進一步說明選用合適的學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)樣本、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、采用適當(dāng)?shù)膶W(xué)習(xí)訓(xùn)練方法就能得到包含學(xué)習(xí)訓(xùn)練樣本范圍的輸入與輸出關(guān)系。如果用于學(xué)習(xí)訓(xùn)練的樣本不能充分反映體系的特性，用ANN也不能很好的描述與預(yù)測體系，所以有“垃圾進，垃圾出；金子進，金子出”之說。確定性模型的參數(shù)回歸與ANN之類的非確定性模型的不同特點。第二十三頁，共五十三頁，2022年，8月28日確定性模型與非確定性模型的比較確定性模型的參數(shù)回歸的特點：自變量與因變量之間有明確的函數(shù)關(guān)系，具有未知數(shù)值的參數(shù)，需要通過自變量與因變量的數(shù)據(jù)組樣本來回歸估計，而且參數(shù)個數(shù)通常較少，具有明確的物理意義。ANN之類的非確定性模型的特點：無須針對問題提出明確的自變量與因變量之間的函數(shù)關(guān)系，而函數(shù)關(guān)系用含有眾多自由參數(shù)的模型回歸擬合，但自由參數(shù)無明確的物理意義。因此，確定性模型回歸的主要目標(biāo)是得到模型的參數(shù)值。而非確定性模型計算的主要目標(biāo)是得到輸入與輸出的關(guān)系。第二十四頁，共五十三頁，2022年，8月28日二、模擬退火法（SimulatedAnnealing）人工神經(jīng)網(wǎng)絡(luò)方法是用某種目標(biāo)函數(shù)的全局極小作為算法搜索和網(wǎng)絡(luò)所要達到的目標(biāo)。在學(xué)習(xí)或運行過程中，網(wǎng)絡(luò)的誤差總是按其梯度下降的方向變化。當(dāng)梯度趨于零時，網(wǎng)絡(luò)的學(xué)習(xí)或運行就停止了，所以這種算法往往會陷入局部最小而達不到全局最小。導(dǎo)致網(wǎng)絡(luò)陷入局部最小的主要原因是網(wǎng)絡(luò)誤差按單方向減少，沒有上升的過程。如果將誤差的減少過程由“總是按梯度下降的方向變化”改為“大部分情況下按梯度下降的方向變化”，而有時按梯度上升的方向變化，這樣就有可能跳出局部最小而達到全局最小(下圖給出了梯度下降法(a)和SA方法(b)搜索途徑)。模擬退火算法的基本思想

第二十五頁，共五十三頁，2022年，8月28日模擬退火法的起源SA算法是受金屬冷卻過程的啟發(fā)，最早由Metropolis于1953年提出來的。它靈活有效，能對問題進行全局優(yōu)化。金屬中原子的能量與溫度有關(guān)。原子能量高的時候，有能力擺脫其原來的能量狀態(tài)而最后達到一個更加穩(wěn)定的狀態(tài)——全局極小能量狀態(tài)。金屬固體進行退火處理時，通常先將它加熱熔化，然后逐漸降低溫度。在凝固點附近，若溫度下降的速度足夠慢，則固體物質(zhì)會形成能量最低的穩(wěn)定狀態(tài)。其中的金屬粒子都經(jīng)歷能量由高到低、暫時由低到高、最終趨向低能態(tài)的過程。在金屬的退火過程中，能量的狀態(tài)分布：P(E)∝P(E)——系統(tǒng)處于具有能量E的狀態(tài)的概率；k——Boltzmann常數(shù)；T——系統(tǒng)的絕對溫度(Kelvin)

第二十六頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法SA算法將優(yōu)化問題與統(tǒng)計物理學(xué)中的熱平衡問題進行類比，即將統(tǒng)計物理學(xué)處理金屬固體冷卻的熱平衡方法用于優(yōu)化問題。

目標(biāo)函數(shù)——能量函數(shù)優(yōu)化參數(shù)的狀態(tài)空間——物質(zhì)的微觀狀態(tài)人工溫度T——一個初值較大的控制參數(shù)依據(jù)網(wǎng)絡(luò)的能量來決定控制參數(shù)的調(diào)整量（稱為步長）。當(dāng)T較大時，目標(biāo)函數(shù)值由低向高變化的可能性較大；而T減小，這種可能性也隨之減小。與金屬的退火過程（Annealing）非常相似。當(dāng)控制參數(shù)T下降到一定程度時，目標(biāo)函數(shù)將收斂于最小值。模擬退火優(yōu)化算法的基本思想第二十七頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法計算機模擬某一溫度T下物質(zhì)體系熱平衡狀態(tài)的方法：Step1：隨機選擇一個初始微觀狀態(tài)i作為當(dāng)前狀態(tài)，其相應(yīng)的能量為Ei。Step2：從狀態(tài)i作隨機擾動，產(chǎn)生一新的狀態(tài)j，其相應(yīng)的能量為Ej，計算能量增量△E=Ei

–Ej。Step3：如果△E≤0，則接受狀態(tài)j作為當(dāng)前狀態(tài)，即j→i；若△E＞0

，計算基于Boltzmann分布函數(shù)的比值：其中:Boltzmann分布函數(shù)

k為Boltzmann常數(shù)取(0,1)之間的一個隨機數(shù)p，若r＞p，則接受狀態(tài)j作為當(dāng)前狀態(tài)，即j→i

；否則，保持原來的狀態(tài)i。第二十八頁，共五十三頁，2022年，8月28日模擬退火優(yōu)化法從Boltzmann分布函數(shù)的比值(即式)可看出，溫度高時大，相應(yīng)kT也較大，接受與當(dāng)前狀態(tài)能差較大的新狀態(tài)的概率大；降低溫度，r較小，只能接受能差較小的新狀態(tài)。因此不斷降低溫度，體系最終能達到能量最低熱平衡狀態(tài)。

Step4：重復(fù)第二、三步，在大量的能量狀態(tài)變化后，系統(tǒng)處于能量較低的平衡態(tài)。降低溫度T再重復(fù)上述過程，體系又處在能量更低的平衡態(tài)。第二十九頁，共五十三頁，2022年，8月28日SA基本算法的步驟與框圖首先進行初始化，任意給定初始態(tài)X0，取參數(shù)初值T0，計算優(yōu)化目標(biāo)函數(shù)E0，然后按下進行：（1）隨機產(chǎn)生擾動態(tài)Xi，計算△E=Ei

–E0

;（2）若△E＜0

，轉(zhuǎn)到(4)。否則在(0,1)之間的一個隨機數(shù)p;（3）若exp(△E/T)＜p

，轉(zhuǎn)(5);（4）用Xi代替X0，E0

+△E代替E0；（5）以某種方式取Ti

＜T0，如Ti=αT0；（6）SA計算過程是否結(jié)束，是就停止，否則就轉(zhuǎn)到(1)。第三十頁，共五十三頁，2022年，8月28日SA算法的控制SA算法能否達到目標(biāo)函數(shù)的最小值，主要取決于控制參數(shù)的初值是否足夠高和其下降得是否慢，因此注意有關(guān)控制參數(shù)的選取問題。對于參數(shù)初值T0，常用的處理方法之一是在均勻地隨機抽樣X0后，取的E0方差作為T0。對于降溫策略Ti=αT0，0＜α＜1，常取α∈[0.85,0.96]。SA算法的使用可以參考教材P257（FORTRAN程序）用SA擬合丙烷－絲光沸石體系在303K時的吸附平衡數(shù)據(jù)和模型。GeneticAlgorithmandDirectSearchToolboxinMATLABv2007a

(UsingtheSimulatedAnnealingandThresholdAcceptanceAlgorithms)

第三十一頁，共五十三頁，2022年，8月28日三、遺傳算法(GeneticAlgorithm)遺傳算法是一種模擬自然選擇和遺傳的隨機搜索算法。它最初由Holland在1975年提出的，研究自然系統(tǒng)的適應(yīng)過程和設(shè)計具有自適應(yīng)性能的軟件。遺傳算法的基本形式是用染色體來表示參數(shù)空間的編碼，用適應(yīng)度函數(shù)來評價染色體群體的優(yōu)劣，通過遺傳操作產(chǎn)生新的染色體，并用概率來控制遺傳操作。遺傳算法是一種非線性方法，它具有簡潔、靈活、高效和全局優(yōu)化的特性，在過程控制、系統(tǒng)診斷、非線性擬合與優(yōu)化、人工智能等工程和研究領(lǐng)域都得到了廣泛的應(yīng)用。第三十二頁，共五十三頁，2022年，8月28日遺傳算法基礎(chǔ)遺傳算法是一種迭代算法，它在每一次迭代時都擁有一組解(父代染色體群體)，這組解答最初是隨機生成的。在每次迭代時，首先保持解，然后染色體群體經(jīng)過遺傳操作(選擇、雜交、變異等)，生成新的組解(子代染色體群體)。每個解都由一個目標(biāo)函數(shù)來評價，而且這一過程不斷重復(fù)，直至達到某種形式上的收斂。新的一組解不但可以有選擇地保留一些先前迭代中目標(biāo)函數(shù)值高的解，而且可以包括一些經(jīng)由其它解結(jié)合而得的新的解，其子代的數(shù)值可以與其父代的情況有相當(dāng)大的差別。第三十三頁，共五十三頁，2022年，8月28日符號串表示和遺傳操作的設(shè)計遺傳算法的術(shù)語借鑒于自然遺傳學(xué),遺傳物質(zhì)的主要載體是染色體。在遺傳算法中，染色體(個體)由一串?dāng)?shù)據(jù)或數(shù)組構(gòu)成，用來作為問題解的代碼。染色體由決定其特性的基因構(gòu)成，而基因又可以有稱為等位基因的不同取值。目標(biāo)函數(shù)稱為適應(yīng)度函數(shù)，而一組染色體稱為群體。遺傳算法的一次迭代稱為一代。遺傳算法成功的關(guān)鍵在于符號串表示和遺傳操作的設(shè)計。第三十四頁，共五十三頁，2022年，8月28日染色體解空間中的每一點都對應(yīng)一個用由基因表示的染色體。

例如：要確定適應(yīng)度函數(shù)f(x,y)的最大值，搜尋空間變量x和y為整數(shù)，其變化范圍是0-15。這樣對應(yīng)于搜尋空間任何點可由兩基因的染色體來表示：

點（2,6）用二進制數(shù)有如下的染色體：xy26→00100110第三十五頁，共五十三頁，2022年，8月28日交叉在兩父代的染色體的隨機長度位置上，用交叉概率進行后部交換，產(chǎn)生兩子代，如下所示：上面的交叉操作稱為單點交叉。一般地可以進行多點交叉，如下所示：第三十六頁，共五十三頁，2022年，8月28日變異與交叉不同，變異涉及到一染色體個體的一個或多個基因位的翻轉(zhuǎn)，產(chǎn)生新的基因組合，以通過交叉來獲得子代染色體。下面的任一方法都可以用來進行變異操作：隨機選擇的基因位數(shù)值可以被隨機產(chǎn)生的數(shù)值替代，這種替代對二進制和非二進制染色體都適用；在二進制染色體中，可以對隨機選擇的基因位進行觸發(fā)，即1→0或0→1?？梢砸愿怕蔖m隨機選擇個體進行變異操作。變異操作的主要優(yōu)點是使染色體群體中出現(xiàn)各種基因，這樣遺傳算法有在參數(shù)解空間找出各種可能的解，避免解的丟失。第三十七頁，共五十三頁，2022年，8月28日有效性檢驗對于不同的優(yōu)化問題，有時需要增加檢驗，確保新子代的染色體表示的是參數(shù)解空間中的有效點。如考慮由四個基因組成的染色體，每個基因有三個可能的二進制值A(chǔ)=01，B=10，C=11。二進制染色體表示組合BACA是：1001110110011100如對最后的基因位進行變異操作，產(chǎn)生了如下所示的無效染色體，因基因值00沒有定義。同樣，交叉也可能產(chǎn)生有缺陷的染色體操作。克服這些問題的方法是采用結(jié)構(gòu)操作，交叉或變異操作針對基因，而不是針對基因位。這樣，交叉操作點總能與基因邊界相一致，變異操作對整個基因組隨機選擇新值，確保產(chǎn)生有效染色體。如此做的缺點是染色體群體的差異性會受到影響。

第三十八頁，共五十三頁，2022年，8月28日基本的遺傳算法框圖初始染色體群體隨機產(chǎn)生；用適應(yīng)度函數(shù)來評價染色體個體；根據(jù)適應(yīng)度產(chǎn)生繁殖的染色體個體，適應(yīng)度好的染色體個體其被選擇來繁殖的可能性大；通過染色體對的交叉和變異操作，產(chǎn)生各自的子代繁殖染色體。第三十九頁，共五十三頁，2022年，8月28日基本的遺傳算法在遺傳算法中，是依據(jù)適應(yīng)度來選擇個體進行繁殖的，最適合的染色體繁殖的可能性也最大。選擇不僅決定由那些個體來繁殖，而且還要確定繁殖子代的數(shù)目。因此選擇的方法對遺傳算法的有效性有著重要的作用。GA算法的使用可以參考教材P262（FORTRAN程序）GeneticAlgorithmandDirectSearchToolboxinMATLABv2006a第四十頁，共五十三頁，2022年，8月28日GeneticAlgorithmToolboxinMATLABCallingtheFunctiongaattheCommandLine[xfval]=ga(@fitnessfun,nvars,options)@fitnessfunisahandletothefitnessfunction.nvarsisthenumberofindependentvariablesforthefitnessfunction.optionsisastructurecontainingoptionsforthegeneticalgorithm.Ifyoudonotpassinthisargument,gausesitsdefaultoptions.Step

x—Pointatwhichthefinalvalueisattainedfval—FinalvalueofthefitnessfunctionUsingtheGeneticAlgorithmToolgatool第四十一頁，共五十三頁，2022年，8月28日GAToolGUIofMATLAB目標(biāo)函數(shù)變量數(shù)約束條件圖形顯示執(zhí)行計算計算結(jié)果計算選項第四十二頁，共五十三頁，2022年，8月28日Ex1:UnconstrainedMinimizationUsingGAFunction：Thefunctionhastwolocalminima：oneatx=0,wherethefunctionvalueis-1,theotheratx=21,wherethefunctionvalueis-1-1/e.Sincethelattervalueissmaller,theglobalminimumoccursatx=21.第四十三頁，共五十三頁，2022年，8月28日Resultoflocalminimumfunctiony=two_min(x)ifx<=20y=-exp(-(x/20).^2);elsey=-exp(-1)+(x-20)*(x-22);end第四十四頁，共五十三頁，2022年，8月28日

Howtoexplorepointsneartheglobalminimum

Onewaytomakethegeneticalgorithmexploreawiderrangeofpoints—thatis,toincreasethediversityofthepopulations—istoincreasetheInitialrange.第四十五頁，共五十三頁，2022年，8月28日Rangeofindividualsineachgenerationamuchwiderrangeofindividuals.Bythesecondgenerationthereareindividualsgreaterthan21,andbygeneration12,thealgorithmfindsabestindividualthatisapproximatelyequalto21.allindividualsarebetween-2and2.5.WhilethisrangeislargerthanthedefaultInitialrangeof[0;1],duetomutation,itisnotlargeenoughtoexplorepointsneartheglobalminimumatx=21.第四十六頁，共五十三頁，2022年，8月28日Ex2:ConstrainedMinimizationUsingGA

minimizeasimplefitnessfunctionoftwovariablesx1andx2minf(x)=100*(x1^2-x2)^2+(1-x1)^2;x

thefollowingtwononlinearconstraintsandboundsaresatisfiedx1*x2+x1-x2+1.5<=0,(nonlinearconstraint)10-x1*x2<=0,(nonlinearconstraint)0<=x1<=1,and(bound)0<=x2<=13(bound)第四十七頁，共五十三頁，2022年，8月28日Defineofobjectivefunctionandconstrainsfunction[c,ceq]=simple_constraint(x)c=[1.5+x(1)*x(2)+x(1)-x(2);-x(1)*x(2)+10];ceq=[];functiony=simple_fitness(x)y=100*(x(1)^2-x(2))^2+(1-x(1))^2;0<=x1<=10<=x2<=13第四十八頁，共五十三頁，2022年，