馬爾可夫過(guò)程及其應(yīng)用

1、馬爾可夫過(guò)程馬爾可夫過(guò)程(Markov Proce ss)什么是馬爾可夫過(guò)程1、馬爾可夫性(無(wú)后效性)過(guò)程或(系統(tǒng))在時(shí)刻to所處的狀態(tài)為已知的條彳下，過(guò)程在時(shí)刻t > t0所處狀態(tài)的條件分布，與過(guò)程在時(shí)刻to之前年處的狀態(tài)無(wú)關(guān)的特性稱(chēng)為馬爾可夫性或無(wú)后效性。即：過(guò)程將來(lái)”的情況與過(guò)去”的情況是無(wú)關(guān)的。2、馬爾可夫過(guò)程的定義具有馬爾可夫性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程。用分布函數(shù)表述馬爾可夫過(guò)程：設(shè)I:隨機(jī)過(guò)程X(t),tin T的狀態(tài)空間，如果對(duì)時(shí)間t的任意n個(gè)數(shù)值：P%X(幻=孫X(西)=如！I= -一i(注:X(tn)在條件X(ti) = Xi下的條件分布函數(shù))=W 吃 吁1) = &

2、#163; 篦 _1'瑞! £ "(注：X(tn)在條件 X(tn-1) = Xn- 1 下的條件分布函數(shù))或?qū)懗桑毫?_ 1 (工丸/,工2 j , h * r11</n-1)| /_i (hn, Fji |*n1)/j 1)這時(shí)稱(chēng)過(guò)程 入，,£ 丁具馬爾可夫性或無(wú)后性，并稱(chēng)此過(guò)程為馬爾可夫過(guò)程。3、馬爾可夫鏈的定義時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱(chēng)為馬爾可夫鏈，簡(jiǎn)記為Xn = X(n)n = 0,1,2,編輯馬爾可夫過(guò)程的概率分布研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列:因n=X(n)/=0,L2一-,狀態(tài)空間為=tzi, q北洶2 H1、用分布律描述馬

3、爾可夫性對(duì)任意的正整數(shù)n,r和。S才1 <益 < 一* V < ?叫力打？氏H Im丘不，有:PX源+力=aj I Xtl = Q", X與=&柒,Xlr =嗎,7=必PXm + n = aj | Xm = Hi ,其中函2、轉(zhuǎn)移概率稱(chēng)條件概率Pj(m,m + n) =PXm +n= aj| Xm=ai為馬氏鏈在時(shí)刻m處于狀態(tài)ai條件下，在時(shí)刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。說(shuō)明：轉(zhuǎn)移概率具胡特點(diǎn):£丹市%血+口)=1/ =JT/V北m+ "墳衛(wèi)。叫m+n)稱(chēng)為馬氏鏈的由轉(zhuǎn)移概率組成的矩陣一 v轉(zhuǎn)移概率矩陣。它是隨機(jī)矩陣3、平穩(wěn)性當(dāng)轉(zhuǎn)移概

4、率 Pj(m,m + n)只與i,j及時(shí)間間距n有關(guān)時(shí)，稱(chēng)轉(zhuǎn)移概率具有平穩(wěn)性。同時(shí)也稱(chēng)些 鏈?zhǔn)驱R次的或時(shí)齊的。此時(shí)，記Pj(m,m + n) =Pj(n),Pj(n) = PXm +n =aj|Xm=ai(注：稱(chēng)為馬氏鏈的 n步轉(zhuǎn)移概率)P(n) = (Pj(n)為n步轉(zhuǎn)移概率矩陣特別的，當(dāng)k=1時(shí),步轉(zhuǎn)移概率：Pij = Pij(1) = PXm + 1 = aj | Xm = ai“1 %Pll PitPll P22Pil Pn步轉(zhuǎn)移概率矩陣：P(1)P1J -Pi J二產(chǎn)% 記為尸J編輯馬爾可夫過(guò)程的應(yīng)用舉例設(shè)任意相繼的兩天中，雨天轉(zhuǎn)晴天的概率為1/3,晴天轉(zhuǎn)雨天的概率為1/2,任一天晴或雨是互為逆事件。以 0表示晴天狀態(tài)，以 1表示雨天狀態(tài)，Xn表示第n天狀態(tài)(0或1)。試定出 馬氏鏈 大注t花 孑1的一步轉(zhuǎn)移概率矩陣。又已知 5月1日為晴天，問(wèn)5月3日為晴天，5月 5日為雨天的概率各等于多少？解：由于任一天晴或雨是互為逆事件且雨天轉(zhuǎn)晴天的概率為1/3 ,晴天轉(zhuǎn)雨天的概率為1/2,故一步轉(zhuǎn)移概率和一步轉(zhuǎn)移概率矩陣分別為：故5月1日為晴天，5月3日為晴天的概率為:5E 射=0.41