第四章決策理論與方法羅黨動態(tài)決策(下)

1、（Decision Making Theory and Methods）教育部高等學校管理科學與工程類學科專業(yè)教學指導委員會教育部高等學校管理科學與工程類學科專業(yè)教學指導委員會推薦教材推薦教材決策理論與方法決策理論與方法第 2 頁第 2 頁決策理論與方法決策理論與方法第 3 頁第 3 頁學習目的學習目的了解多階段決策、序貫決策的概念及特點；了解多階段決策、序貫決策的概念及特點；掌握動態(tài)規(guī)劃與決策樹方法及其在多階段決策、掌握動態(tài)規(guī)劃與決策樹方法及其在多階段決策、序貫決策中的應用。序貫決策中的應用。決策理論與方法決策理論與方法第 4 頁第 4 頁本講內容本講內容4.3序貫決策序貫決策 4.3.1序

2、貫決策的基本概念序貫決策的基本概念 4.3.2序貫決策的決策方法序貫決策的決策方法決策理論與方法決策理論與方法第 5 頁第 5 頁4.3 序貫決策序貫決策4.3.1 序貫決策的基本概念序貫決策的基本概念 上面的多階段決策，階段數是確定的。除這種決上面的多階段決策，階段數是確定的。除這種決策外，還有一些決策的階段數不是事先確定的，它依策外，還有一些決策的階段數不是事先確定的，它依賴于執(zhí)行決策過程中出現(xiàn)的情況。這種決策問題稱為賴于執(zhí)行決策過程中出現(xiàn)的情況。這種決策問題稱為序貫決策（序貫決策（sequential decision problem）。）。 序列決策在進行決策后又產生一些新的情況，需序

3、列決策在進行決策后又產生一些新的情況，需要進行新的決策，接著又有一些新的情況，又需要進要進行新的決策，接著又有一些新的情況，又需要進行新的決策。這樣決策、情況、決策行新的決策。這樣決策、情況、決策，這就構成，這就構成一個序列。一個序列。 決策理論與方法決策理論與方法第 6 頁第 6 頁4.3 序貫決策序貫決策4.3.1 序貫決策的基本概念序貫決策的基本概念 序貫決策是用于隨機性或不確態(tài)定性動態(tài)系統(tǒng)最序貫決策是用于隨機性或不確態(tài)定性動態(tài)系統(tǒng)最優(yōu)化的決策方法。它的特點是：優(yōu)化的決策方法。它的特點是： 1）所研究的系統(tǒng)是動態(tài)的，即系統(tǒng)所處的狀態(tài)）所研究的系統(tǒng)是動態(tài)的，即系統(tǒng)所處的狀態(tài)與時間有關，可周

4、期（或連續(xù)）地對它觀察；與時間有關，可周期（或連續(xù)）地對它觀察； 2）決策是序貫地進行的，即每個時刻根據所觀）決策是序貫地進行的，即每個時刻根據所觀察到的狀態(tài)和以前狀態(tài)的記錄，從一組可行方案中選察到的狀態(tài)和以前狀態(tài)的記錄，從一組可行方案中選用一個最優(yōu)方案（即作最優(yōu)決策），使取決于狀態(tài)的用一個最優(yōu)方案（即作最優(yōu)決策），使取決于狀態(tài)的某個目標函數取最優(yōu)值（極大或極小值）；某個目標函數取最優(yōu)值（極大或極小值）； 3）系統(tǒng)下一步）系統(tǒng)下一步(或未來或未來)可能出現(xiàn)的狀態(tài)是隨機的可能出現(xiàn)的狀態(tài)是隨機的或不確定的?；虿淮_定的。決策理論與方法決策理論與方法第 7 頁第 7 頁4.3 序貫決策序貫決策4.3.

5、1 序貫決策的基本概念序貫決策的基本概念 系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)是不能確切預知的，存在兩種情況：是不能確切預知的，存在兩種情況： 1）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已知的，可用客觀概率的條件分布來描述。對于這類系知的，可用客觀概率的條件分布來描述。對于這類系統(tǒng)的序貫決策研究得較完滿的是狀態(tài)轉移律具有無后統(tǒng)的序貫決策研究得較完滿的是狀態(tài)轉移律具有無后效性的系統(tǒng)，相應的序貫決策稱為馬爾可夫決策過程效性的系統(tǒng)，相應的序貫決策稱為馬爾可夫決策過程，它是將馬爾可夫過程理論與決定性動態(tài)規(guī)劃相結合，它是將

6、馬爾可夫過程理論與決定性動態(tài)規(guī)劃相結合的產物。的產物。 2）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布不知）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布不知道，只能用主觀概率的條件分布來描述。用于這類系道，只能用主觀概率的條件分布來描述。用于這類系統(tǒng)的序貫決策屬于決策分析的內容。統(tǒng)的序貫決策屬于決策分析的內容。22,r a Ef E22,r a Ef E22,r a Ef E決策理論與方法決策理論與方法第 8 頁第 8 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 序貫決策的過程是：從初始狀態(tài)開始，每個時序貫決策的過程是：從初始狀態(tài)開始，每個時刻做出最優(yōu)決策后，接著觀察下一步實際出

7、現(xiàn)的狀態(tài)刻做出最優(yōu)決策后，接著觀察下一步實際出現(xiàn)的狀態(tài)，即收集新的信息，然后再做出新的最優(yōu)決策，反復，即收集新的信息，然后再做出新的最優(yōu)決策，反復進行直至最后。進行直至最后。 解決序貫決策問題的有效辦法仍然是決策樹，解解決序貫決策問題的有效辦法仍然是決策樹，解決序貫決策的關鍵是確定一個決策序列終止的原則。決序貫決策的關鍵是確定一個決策序列終止的原則。在下例中，這個原則就是：不管到決策的哪個階段，在下例中，這個原則就是：不管到決策的哪個階段，只要有一個非經抽樣的后悔期望值小于進行一次抽樣只要有一個非經抽樣的后悔期望值小于進行一次抽樣的費用，決策序列便可終止。的費用，決策序列便可終止。22,r a

8、 Ef E22,r a Ef E22,r a Ef E決策理論與方法決策理論與方法第 9 頁第 9 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 例例4-3-1 某工廠的產品每某工廠的產品每1000件裝成一箱出售。件裝成一箱出售。每箱中產品的次品率有每箱中產品的次品率有0.01，0.40，0.90三種可能，三種可能，其概率分別為其概率分別為0.2，0.6，0.2。現(xiàn)在的問題是：出廠前?，F(xiàn)在的問題是：出廠前是否要對產品進行嚴格檢驗，將次品挑出?？梢赃x擇是否要對產品進行嚴格檢驗，將次品挑出?？梢赃x擇的行動有兩個：的行動有兩個： 整箱檢驗，檢驗費整箱檢驗，檢驗費 為每箱

9、為每箱100元；元；整箱不檢驗，但如果顧客在使用中發(fā)現(xiàn)次品，每件整箱不檢驗，但如果顧客在使用中發(fā)現(xiàn)次品，每件次品除條換為合格品外還要賠償次品除條換為合格品外還要賠償0.25元損失費。為了元損失費。為了更好地做出決定可以先從一箱中隨機抽取更好地做出決定可以先從一箱中隨機抽取1件作為樣件作為樣本檢驗它，然后根據這件產品是都次品再決定該箱是本檢驗它，然后根據這件產品是都次品再決定該箱是否要檢驗，抽樣成本為否要檢驗，抽樣成本為4.2元。進行第一次抽樣后，元。進行第一次抽樣后，除選擇檢驗還是不檢驗外，還可以根據前面抽樣的結除選擇檢驗還是不檢驗外，還可以根據前面抽樣的結果，考慮再進行一次抽樣檢驗如此形成一

10、個決策序列果，考慮再進行一次抽樣檢驗如此形成一個決策序列。該廠應該如何決策。該廠應該如何決策。決策理論與方法決策理論與方法第 10 頁第 10 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 解解 （1） 假設假設 為整箱檢驗；為整箱檢驗； 為整箱不檢驗為整箱不檢驗； 而而 表示次品率分別表示次品率分別0.01，0.40，0.90的三種自然狀態(tài)；的三種自然狀態(tài)； 表示抽取一件樣品的行動，表示抽取一件樣品的行動， 表示抽取第二件樣品的行動表示抽取第二件樣品的行動 ； ， 為抽為抽樣時次品和合格品的兩個結果。樣時次品和合格品的兩個結果。 12123, 1S2S1x 0

11、x 決策理論與方法決策理論與方法第 11 頁第 11 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 （2）計算益損值和后悔值矩陣。）計算益損值和后悔值矩陣。 產品檢驗問題的收益矩陣見表產品檢驗問題的收益矩陣見表4-3-1。由表。由表4-3-1的收益的收益矩陣可得到各行動方案的后悔值矩陣，見表矩陣可得到各行動方案的后悔值矩陣，見表4-3-2。 表表4-3-1 ：收益矩陣表：收益矩陣表 表表4-3-2：后悔矩陣表：后悔矩陣表 A123( )E1a （0.2）（0. 6）（0.2）-100 -100 -100 -100-2.5 -100 -100 -105A1232a2

12、a（0.2）（0. 6）（0.2）97.5 00001251a E a決策理論與方法決策理論與方法第 12 頁第 12 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 （3）抽取一件樣品的抽樣分布見表）抽取一件樣品的抽樣分布見表4-3-3。計算各有關。計算各有關概率。概率。 表表4-3-3 ：抽樣結果條件概率分布表矩陣表：抽樣結果條件概率分布表矩陣表 A123( )E1a A1232a 抽樣抽樣 （0.2） （0. 6） （0.2）0.990.60.10.010.40.9決策理論與方法決策理論與方法第 13 頁第 13 頁4.3 序貫決策序貫決策4.3.2 序貫決策

13、的決策方法序貫決策的決策方法 （4）畫出決策樹圖）畫出決策樹圖4-3-1，圖中，圖中 表示決策階表示決策階段，段， 表示第一次抽樣、第二次抽樣表示第一次抽樣、第二次抽樣 圖圖4-3-1：決策樹：決策樹 A123( )E A123123,A A A12,S S4.3250.283733.300.71630.4220.5782519.503.731.177846.174.1091.9092.9660.7660.60382.21.17782.20.46212.22.20.462153.312.21A1S2A2S3A決策理論與方法決策理論與方法第 14 頁第 14 頁本章小結本章小結 本章介紹了動態(tài)決策的基本概念與基本方法，重點本章介紹了動態(tài)決策的基本概念與基本方法，重點是：多階段決策、序貫決策、決策樹等概念，動態(tài)規(guī)是：多階段決策、序貫決策、決策樹等概念，動態(tài)