最優(yōu)化：最速下降法和Newton法.ppt_第1頁
最優(yōu)化：最速下降法和Newton法.ppt_第2頁
最優(yōu)化：最速下降法和Newton法.ppt_第3頁
最優(yōu)化：最速下降法和Newton法.ppt_第4頁
最優(yōu)化：最速下降法和Newton法.ppt_第5頁
免費預(yù)覽已結(jié)束，剩余29頁可下載查看

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

最優(yōu)化 主講 劉陶文 課件制作 劉陶文 唯楚有材於斯為盛 學(xué)好最優(yōu)化 走遍天下都不怕 第三章無約束問題算法 I 最速下降法 Newton法 第一節(jié)最速下降法第二節(jié)Newton法及其修正形式 第一節(jié)最速下降法 1 思想 每次沿負(fù)梯度方向進(jìn)行搜索 最古老的優(yōu)化方法 十九世紀(jì)中葉由Cauchy提出 負(fù)梯度方向也稱為最速下降方向 以負(fù)梯度為搜索方向的算法稱為最速下降法 2 算法步驟 最優(yōu)化算法看來是如此的簡單 事實上 上面的例子刻畫了最速下降法的所有收斂特征 3 最速下降法的收斂性 全局收斂性 收斂速度估計 從上圖可以看出 最速下降法具有鋸齒現(xiàn)象 對一般的非二次函數(shù)有下面的收斂速度估計 定理的證明參見文獻(xiàn) 19 定理3 4 由上面的分析可知 最速下降法的收斂速度比較慢 通常將其用在某些算法的初始階段求較好的初始點或作為某些算法的間插步 思考題 有點難啊 第二節(jié)Newton法及其修正形式 1 思想 用近似二次函數(shù)的極小點作為原問題的新的近似解 幾何解釋 2 Newton法的算法步驟 對不同的兩個初始點 經(jīng)一次迭代求出最優(yōu)解 這是偶然還是必然的呢 下面我們來看看最速下降法與Newton法求解二次函數(shù)的比較 等值線 3 Newton的收斂性 4 局部二次收斂性 1 收斂性略 參見前面的牛頓法的收斂性 2 收斂速度 5 Newton法的修正形式 如何有效計算下降方向 該算法有較好的穩(wěn)定性及較快的收斂速度 從Newton法出發(fā)進(jìn)行修改 利用其優(yōu)點 克服其缺點 產(chǎn)生很多效果非常好的其他新算法 上面的Newton法的兩種修正形式 在較弱的條件下具有超線性收斂性或二次收斂性 還有很多其他的修正形式

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論