第1章先驗分布與后驗分布

貝葉斯統(tǒng)計 山東經(jīng)濟學(xué)院統(tǒng)計與數(shù)學(xué)學(xué)院 shangkejiaoxue 張愛 BayesianStatistics 貝葉斯統(tǒng)計 預(yù)修要求 已修過概率論與數(shù)理統(tǒng)計 基本教材 茆詩松編 貝葉斯統(tǒng)計中國統(tǒng)計出版社 2005年 1 貝葉斯統(tǒng)計與決策 BergerJO 中國統(tǒng)計出版社 1998 2 現(xiàn)代貝葉斯統(tǒng)計 KotzS 吳喜之 中國統(tǒng)計出版社 1999 3 貝葉斯統(tǒng)計推斷 張堯庭 陳漢峰 科學(xué)出版社 1991 課堂上講過的習(xí)題 練習(xí)題和作業(yè)的題目要會 伽瑪函數(shù) 函數(shù) 伽瑪函數(shù)的性質(zhì) 伽瑪分布 5 4 4伽瑪分布的兩個特例 1 當 1時 伽瑪分布就是指數(shù)分布 則X的密度函數(shù)為 貝塔函數(shù) 函數(shù) 貝塔函數(shù)的性質(zhì) 證明 證明 貝塔分布 貝塔分布的數(shù)學(xué)期望和方差 Bayes Thomas 1702 1761 貝葉斯是英國數(shù)學(xué)家 1702年生于倫敦 1761年4月17日卒于坦布里奇韋爾斯 貝葉斯是一位自學(xué)成才的數(shù)學(xué)家 曾助理宗教事務(wù) 后來長期擔任坦布里奇韋爾斯地方教堂的牧師 1742年 貝葉斯被選為英國皇家學(xué)會會員 如今在概率 數(shù)理統(tǒng)計學(xué)中以貝葉斯姓氏命名的有貝葉斯公式 貝葉斯風險 貝葉斯決策函數(shù) 貝葉斯決策規(guī)則 貝葉斯估計量 貝葉斯方法 貝葉斯統(tǒng)計等等 貝葉斯方法 Bayesianapproach 貝葉斯方法是基于貝葉斯定理而發(fā)展起來用于系統(tǒng)地闡述和解決統(tǒng)計問題的方法 SamuelKotz和吳喜之 2000 貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗信息與樣本信息綜合 再根據(jù)貝葉斯定理 得出后驗信息 然后根據(jù)后驗信息去推斷未知參數(shù) 茆詩松和王靜龍等 1998年 貝葉斯提出了一種歸納推理的理論 貝葉斯定理 以后被一些統(tǒng)計學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法 稱為貝葉斯方法 摘自 中國大百科全書 數(shù)學(xué)卷 英國學(xué)者T 貝葉斯1763年在 論有關(guān)機遇問題的求解 中提出一種歸納推理的理論 后被一些統(tǒng)計學(xué)者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法 稱為貝葉斯方法 采用這種方法作統(tǒng)計推斷所得的全部結(jié)果 構(gòu)成貝葉斯統(tǒng)計的內(nèi)容 認為貝葉斯方法是唯一合理的統(tǒng)計推斷方法的統(tǒng)計學(xué)者 組成數(shù)理統(tǒng)計學(xué)中的貝葉斯學(xué)派 其形成可追溯到20世紀30年代 到50 60年代 已發(fā)展為一個有影響的學(xué)派 時至今日 其影響日益擴大 序言 本書共六章 可分二部分 前三章圍繞先驗分布介紹貝葉斯推斷方法 后三章圍繞損失函數(shù)介紹貝葉斯決策方法 閱讀這些內(nèi)容僅需要概率統(tǒng)計基本知識就夠了 Byaes統(tǒng)計學(xué)派與經(jīng)典統(tǒng)計學(xué)派雖然有很大區(qū)別 但是它們各有優(yōu)缺點 各有其適用的范圍 作為研究者一定要博采眾長 以獲得一種更適合解決實際問題的方法 而且 在不少情況下 二者得出的結(jié)論在形式上是相同的 目錄 第一章先驗分布與后驗分布 第二章貝葉斯推斷 第三章先驗分布的確定 第四章決策中的收益 損失與效用 第五章貝葉斯決策 第六章統(tǒng)計決策理論 第一章先驗分布與后驗分布 統(tǒng)計學(xué)中有兩個主要學(xué)派 頻率學(xué)派與貝葉斯學(xué)派 下面從統(tǒng)計推斷的三種信息來說明他們之間的區(qū)別與聯(lián)系 經(jīng)典學(xué)派的觀點 統(tǒng)計推斷是根據(jù)樣本信息對總體分布或總體的特征數(shù)進行推斷 這里用到兩種信息 總體信息和樣本信息 貝葉斯學(xué)派的觀點 除了上述兩種信息以外 統(tǒng)計推斷還應(yīng)該使用第三種信息 先驗信息 1 1三種信息 一 總體信息 即總體分布或總體所屬分布給我們的信息 例如 總體是正態(tài)分布 說明 總體信息是很重要的信息 為了獲取此種信息往往耗資巨大 二 樣本信息 即從總體抽取的樣本給我們的信息 愈多愈好 人們希望通過對樣本的加工和處理對總體的某些特征做出較為精確的統(tǒng)計推斷 例 有了樣本觀察值 我們可根據(jù)它大概知道總體的一些特征數(shù) 均值 方差等 在一個什么范圍內(nèi) 經(jīng)典統(tǒng)計學(xué) 基于以上兩種信息進行的統(tǒng)計推斷被稱為經(jīng)典統(tǒng)計學(xué) 說明 它的基本觀點是把數(shù)據(jù) 樣本 看成是來自具有一定概率分布的總體 所研究對象是這個總體而不局限于數(shù)據(jù)本身 據(jù)現(xiàn)有資料看 這方面最早的工作是高斯和勒讓德德誤差分析 正態(tài)分布和最小二乘法 從十九世紀末期到二十世紀中葉 經(jīng)皮爾遜 費歇和奈曼等人杰出的工作創(chuàng)立了經(jīng)典統(tǒng)計學(xué) 隨著經(jīng)典統(tǒng)計學(xué)的持續(xù)發(fā)展與廣泛應(yīng)用 它本身的缺陷也逐漸暴露出來了 1 總體信息 總體分布提供的信息 2 樣本信息 抽取樣本所得觀測值提供的信息 3 先驗信息 人們在試驗之前對要做的問題在經(jīng)驗上和資料上總是有所了解的 這些信息對統(tǒng)計推斷是有益的 先驗信息即是抽樣 試驗 之前有關(guān)統(tǒng)計問題的一些信息 一般說來 先驗信息來源于經(jīng)驗和歷史資料 先驗信息在日常生活和工作中是很重要的 貝葉斯學(xué)派的觀點 除了上述兩種信息以外 統(tǒng)計推斷還應(yīng)該使用第三種信息 先驗信息 三 先驗信息 即是抽樣 試驗 之前有關(guān)統(tǒng)計問題的一些信息 一般說來 先驗信息來源于經(jīng)驗和歷史資料 先驗信息在日常生活和工作中是很重要的 人們在試驗之前對要做的問題在經(jīng)驗上和資料上總是有所了解的 這些信息對統(tǒng)計推斷是有益的 例1 1英國統(tǒng)計學(xué)家Savage曾考察如下2個統(tǒng)計實驗 A 一位常飲牛奶加茶的婦女聲稱 她能辨別先倒進杯子里的是茶還是牛奶 對此做了10次試驗 她都正確地說出了 B 一位音樂家聲稱 他能從一頁樂譜辨別出是海頓還是莫扎特的作品 在10次這樣的試驗中 他都能正確辨別 在這兩個統(tǒng)計試驗中 假如認為被試驗者是在猜測 每次成功的概率為0 5 那么10次都猜中的概率為2 10 0 0009766 這是一個很小的概率 是幾乎不可能發(fā)生的 所以 每次成功概率為0 5 的假設(shè)應(yīng)該被拒絕 被試驗者每次成功的概率要比0 5大得多 這不是猜測 而是他們的經(jīng)驗在幫了他們的忙 例1 2 免檢產(chǎn)品 是怎樣決定的 某廠的產(chǎn)品每天都有抽驗幾件 獲得不合格品率 的估計 在經(jīng)過一段時間后就積累大量的資料 根據(jù)這些歷史資料 先驗信息的一種 對過去產(chǎn)品的不合格品率可構(gòu)造一個分布 這個對先驗信息進行加工獲得的分布今后稱為先驗分布 這個先驗分布是綜合了該廠過去產(chǎn)品的質(zhì)量情況 如果這個分布的概率大部分集中在 0附近 那么該產(chǎn)品可認為是 信得過產(chǎn)品 假如以后的多次抽檢結(jié)果與歷史資料提供的先驗分布是一致的 使用單位就可以對它做出 免檢產(chǎn)品 的決定 或者每月抽檢一 二次就足夠了 這就省去了大量的人力和物力 可見歷史資料在統(tǒng)計推斷中應(yīng)加以利用 基于上述三種信息進行統(tǒng)計推斷的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué) 它與經(jīng)典統(tǒng)計學(xué)的差別就在于是否利用先驗信息 貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時 還注意先驗信息的收集 挖掘和加工 使它數(shù)量化 形成先驗分布 參加到統(tǒng)計推斷中來 以提高統(tǒng)計推斷的質(zhì)量 忽視先驗信息的利用 有時是一種浪費 有時還會導(dǎo)出不合理的結(jié)論 在使用樣本信息上也是有差異的 貝葉斯學(xué)派重視已出現(xiàn)的樣本觀察值 而對尚未發(fā)生的樣本觀察值不予考慮 貝葉斯學(xué)派的基本觀點 任一未知量 都可看作隨機變量 可用一個概率分布去描述 這個分布稱為先驗分布 在獲得樣本之后 總體分布 樣本與先驗分布通過貝葉斯公式結(jié)合起來得到一個關(guān)于未知量 新的分布 后驗分布 任何關(guān)于 的統(tǒng)計推斷都應(yīng)該基于 的后驗分布進行 因為任一未知量都有不確定性 而在表述不確定性程度時 概率與概率分布是最好的語言 例1 2中產(chǎn)品的不合格品率 是未知量 但每天都有一些變化 把它看做一個隨機變量是合適的 用一個概率分布去描述它也是很恰當?shù)?例1 3學(xué)生估計一新教師的年齡 依據(jù)學(xué)生們的生活經(jīng)歷 在看了新教師的照片后會立即有反應(yīng) 新教師的年齡在30歲到50歲之間 極有可能在40歲左右 一位統(tǒng)計學(xué)家與學(xué)生們交談 明確這句話中 左右 為 3歲 極有可能 可理解為90 的把握 于是學(xué)生們對新教師的年齡 未知量 的認識 先驗信息 可綜合為圖1 1所示的概率分布 這也是學(xué)生們對未知量 新教師的年齡 的概率表述 這里有兩個問題需要進一步討論 第一 按圖1 1所示的概率分布我們可談?wù)撐粗?位于某個區(qū)間的概率 例 位于37到43歲間的概率為0 9 可這個陳述在經(jīng)典統(tǒng)計中是不允許的 在實際中類似的說法經(jīng)常聽到 第二 按圖1 1中的概率不是在大量重復(fù)試驗中獲得的 而是學(xué)生們根據(jù)自己的生活經(jīng)歷的積累對該事件發(fā)生可能性所給出的信念 這樣給出的概率在貝葉斯統(tǒng)計中是允許的 并稱為主觀概率 它也符合概率的三條公理 這一點頻率學(xué)派是頻率學(xué)派難以接受的 他們認為經(jīng)典統(tǒng)計學(xué)使用大量重復(fù)試驗的頻率來確定概率 是 客觀的 因此符合科學(xué)的要求 而認為貝葉斯統(tǒng)計是 主觀的 因而 至多 只對個人決策有用 這是當前對貝葉斯統(tǒng)計的主要批評 兩學(xué)派在一些問題上的爭論將在后面逐步介紹 Byaes統(tǒng)計學(xué)派與經(jīng)典統(tǒng)計學(xué)派在很多問題上都有分歧但是它們最根本的分歧是 第一 是否利用先驗信息 由于產(chǎn)品的設(shè)計 生產(chǎn)都有一定的繼承性 這樣就存在許多相關(guān)產(chǎn)品的信息以及先驗信息可以利用 Byaes統(tǒng)計學(xué)派認為利用這些先驗信息不僅可以減少樣本容量 而且在很多情況還可以提高統(tǒng)計精度 而經(jīng)典統(tǒng)計學(xué)派忽略了這些信息 第二 是否將參數(shù) 看成隨機變量 Byaes統(tǒng)計學(xué)派的最基本的觀點是 任一未知量 都可以看成隨機變量 可以用一個概率分布去描述 這個分布就是先驗分布 因為任一未知量都具有不確定性 而在表述不確定性時 概率與概率分布是最好的語言 相反 經(jīng)典統(tǒng)計學(xué)派卻把未知量 就簡單看成一個未知參數(shù) 來對它進行統(tǒng)計推斷 總結(jié) 理解貝葉斯統(tǒng)計學(xué)與經(jīng)典統(tǒng)計學(xué)的主要差別 貝葉斯統(tǒng)計學(xué)派的最基本的觀點 1 2貝葉斯公式 一 貝葉斯公式的密度函數(shù)形式 1 總體依賴于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計中記為P x 它表示在隨機變量 取某個給定值時總體的條件概率函數(shù) 2 根據(jù)參數(shù) 的先驗信息可確定先驗分布 3 從貝葉斯觀點看 樣本x x1 x2 xn 的產(chǎn)生分兩步進行 首先從先驗分布 產(chǎn)生一個樣本 0 然后從P x 0 中產(chǎn)生一組樣本 這時樣本的聯(lián)合條件概率函數(shù)為 這個分布綜合了總體信息和樣本信息 常稱為似然函數(shù) 4 0是未知的 它是按先驗分布 產(chǎn)生的 為把先驗信息綜合進去 不能只考慮 0 對 的其它值發(fā)生的可能性也要加以考慮 故要用 進行綜合 這樣一來 樣本x x1 xn 和參數(shù) 的聯(lián)合分布為 h x p x 這個聯(lián)合分布把總體信息 樣本信息和先驗信息三種可用信息都綜合進去了 5 我們的任務(wù)是對未知數(shù) 作出推斷 在沒有樣本信息時 人們只能依據(jù)先驗分布對 作出推斷 在有了樣本觀察值x x1 x2 xn 之后 則應(yīng)依據(jù)h x 對 作出推斷 由于h x x m x 其中是x x1 x2 xn 的邊際概率函數(shù) 它與 無關(guān) 不含 的任何信息 因此能用來對 作出推斷的僅是條件分布 x 它的計算公式是 這就是貝葉斯公式的密度函數(shù)形式 這個條件分布稱為 的后驗分布 它集中了總體 樣本和先驗中有關(guān) 的一切信息 而又是排除一切與 無關(guān)的信息之后得到的結(jié)果 后驗分布 x 的計算公式就是用密度函數(shù)表示的貝葉斯公式 它是用總體和樣本對先驗分布 作調(diào)整的結(jié)果 貝葉斯統(tǒng)計的一切推斷都基于后驗分布進行 6 在 是離散型隨機變量時 先驗分布可用先驗分布列 i i 1 2 表示 這時后驗分布也是離散形式 假如總體X也是離散的 只要把 1 1 或 1 2 中的密度函數(shù)p x 作為概率函數(shù)p X x 即可 二 后驗分布式三種信息的綜合 一般說來 先驗分布 是反映人們抽樣前對的 的認識 后驗分布 x 是反映人們在抽樣后對 的認識 它們之間的差異是由于樣本x出現(xiàn)后人們對 認識的一種調(diào)整 所以后驗分布 x 可以看做是人們用總體信息和樣本信息 綜合稱為抽樣信息 對 作調(diào)整的結(jié)果 例1 4 設(shè)某事件A在一次試驗中發(fā)生的概率為 為估計 對試驗進行了n次獨立觀測 其中事件A發(fā)生了X次 顯然X b n 即這是似然函數(shù) 假若我們在試驗前對事件A沒有什么了解 從而對其發(fā)生的概率 也沒有任何信息 在這種場合 貝葉斯本人建議采用 同等無知 的原則使用區(qū)間 0 1 上的均勻分布U 0 1 作為 的先驗分布 因為它取 0 1 上的每一點的機會均等 貝葉斯的這個建議被后人稱為貝葉斯假設(shè) 的先驗分布為 由此即可利用貝葉斯公式求出 的后驗分布 具體如下 先寫出X和 的聯(lián)合分布然后求X的邊際分布最后求出 的后驗分布最后的結(jié)果說明 的后驗分布為Be x 1 n x 1 例1 5 為了提高某產(chǎn)品的質(zhì)量 公司經(jīng)理考慮增加投資來改進生產(chǎn)設(shè)備 預(yù)計需投資90萬元 但從投資效果看 下屬部門有2種意見 1 改進設(shè)備后 高質(zhì)量產(chǎn)品可占90 2 改進設(shè)備后 高質(zhì)量產(chǎn)品可占70 經(jīng)理當然希望 1發(fā)生 公司效益可得很大提高 投資改進設(shè)備是合算的 但根據(jù)下屬兩個部門過去建議被采納的情況 經(jīng)理認為 1的可信程度只有40 2的可信程度是60 即 這個都是經(jīng)理的主觀概率 經(jīng)理不想僅用過去的經(jīng)驗來決策 想慎重一些 通過小規(guī)模試驗后觀其結(jié)果再定 為此做了一項試驗 實驗結(jié)果 記為A 如下 A 試制5個產(chǎn)品 全是高質(zhì)量產(chǎn)品 經(jīng)理對此試驗結(jié)果很高興 希望用此試驗結(jié)果來修改他原來對 1和 2的看法 即要求后驗概率 1 x 和 2 x 所以 經(jīng)理根據(jù)試驗A的信息調(diào)整自己的看法 把對 1和 2的可信程度由0 4和0 6調(diào)整到0 7和0 3 后者是綜合了經(jīng)理的主觀概率和試驗結(jié)果而獲得的 要比主觀概率更貼近當今的實際 這就是貝葉斯公式的應(yīng)用 經(jīng)過試驗A后 經(jīng)理對增加投資改進質(zhì)量的興趣增大 但因投資額大 還想再做一次小規(guī)模試驗 觀此結(jié)果在最決策 為此又做了一批試驗 試驗結(jié)果 記為B 如下 所以 經(jīng)理看到經(jīng)過兩次試驗 1 高質(zhì)量產(chǎn)品可占90 的可信程度由0 4調(diào)整到0 883 他能以88 3 的把握保證此項投資能取得較大經(jīng)濟效益 B 試制10個產(chǎn)品 有9個是高質(zhì)量產(chǎn)品 總結(jié) 利用貝葉斯公式會由先驗分布求后驗分布 練習(xí)1 2作業(yè) 1 1 1 7 概率統(tǒng)計中的6 4的課后題 1 3共軛先驗分布 一 共軛先驗分布 例1 4中X b n 先驗分布為U 0 1 即Be 1 1 后驗分布Be x 1 n x 1 其中x為n次獨立試驗中成功出現(xiàn)的次數(shù) Be Be x n x 定義1 1設(shè) 是總體分布中的參數(shù) 或參數(shù)向量 是 的先驗密度函數(shù) 假如由抽樣信息算得的后驗密度函數(shù)與 有相同的函數(shù)形式 則稱 是 的共軛先驗分布 注意 共軛先驗分布是對某一分布中的參數(shù)而言的 離開指定參數(shù)及其所在的分布去談?wù)摴曹椣闰灧植际菦]有意義的 例1 6正態(tài)均值 方差已知 的共軛先驗分布是正態(tài)分布 設(shè)x1 x2 xn是來自正態(tài)分布N 2 的一個樣本觀察值 其中 2已知 樣本的似然函數(shù)為 取另一正態(tài)分布N 2 作為正態(tài)均值 的先驗分布 即 其中 2為已知 設(shè)x x1 x2 xn 與參數(shù) 的聯(lián)合密度函數(shù)為 樣本x的邊際密度函數(shù)為 參數(shù) 的后驗分布為 其中 這是參數(shù)為 1 和 12的正態(tài)分布 二 后驗分布的計算 參數(shù) 的后驗分布為 由于m x 不依賴于 在計算的 后驗分布中僅起到一個正則化因子的作用 假如把m x 省略 把貝葉斯公式改寫為如下等價形式 其中 表示兩邊僅差一個常數(shù)因子 一個不依賴于 的常數(shù)因子 1 9 式右端雖不是正常的密度函數(shù) 但他是后驗分布 x 的核 在需要時可以利用適當?shù)姆绞接嬎愠龊篁灻芏?特別當看出 x 的核就是某常用分布的核時 不用計算m x 就可很快恢復(fù)所缺常數(shù)因子 注意 這在共軛先驗分布和非共軛先驗分布場合都可使用 例1 6正態(tài)均值 方差已知 的共軛先驗分布是正態(tài)分布 其中 這是參數(shù)為 1 和 2的正態(tài)分布的核 例1 7二項分布中的成功概率 的共軛先驗分布是貝塔分布 設(shè)總體中X b n 先驗分布Be 的后驗分布 這是貝塔分布Be x n x 的核 的后驗分布 常用分布的核 1 二項分布b n 的核 2 泊松分布P 的核 3 貝塔分布Be 的核 4 伽瑪分布Ga 的核 5 倒伽瑪分布IGa 的核 6 正態(tài)分布N 2 的核 熟悉后驗分布的核可以簡化后驗分布的計算 三 共軛先驗分布的優(yōu)缺點 共軛先驗分布的有兩個優(yōu)點1 計算方便 2 共軛先驗分布的一些參數(shù)可以得到很好的解釋 例1 8 正態(tài)均值 方差已知 的共軛先驗分布是正態(tài)分布 的例子中 其后驗均值為 后驗均值是樣本均值和先驗均值的加權(quán)平均 在處理正態(tài)分布是 方差的倒數(shù)發(fā)揮著重要的作用 并稱其為精度 這表明后驗均值是在先驗均值與樣本均值間采取折衷方案 例1 9在 二項分布中的成功概率 的共軛先驗分布是貝塔分布 的例1 7中 后驗分布Be x n x 的均值與方差為 當n與x都較大 且x n接近某個常數(shù)時 有 注意 1 在貝葉斯統(tǒng)計中 先驗分布的選擇應(yīng)以合理性作為首要原則 計算上的方便與先驗的合理性相比還是第二位的 2 在考慮到先驗的合理性之后 充分發(fā)揮共軛先驗分布是常采用的策略 四 常用的共軛先驗分布 共軛先驗分布的選取是由似然函數(shù)L p x 中所含的 因式所決定的 即選與似然函數(shù) 的函數(shù) 具有相同的核的分布作為先驗分布 例1 10設(shè)x1 x2 xn是來自正態(tài)分布N 2 的一個樣本觀察值 其中 已知 求方差 2的共軛先驗分布 樣本的似然函數(shù)為 設(shè)X服從伽瑪分布Ga 其中 0為形狀參數(shù) 0為尺度參數(shù) 其密度函數(shù)為 Y 1 X的密度函數(shù)為 這個分布稱為倒伽瑪分布 記為IGa 假如取倒伽瑪分布為 2的先驗分布 其中參數(shù) 為已知 則其密度函數(shù)為 2的后驗分布為 這個分布為倒伽瑪分布 若后驗分布 x 與 屬于同一個分布族 則稱該分布族是 的共軛先驗分布 族 二項分布b n 中的成功概率 的共軛先驗分布是貝塔分布Be a b 泊松分布P 中的均值 的共軛先驗分布是伽瑪分布Ga 指數(shù)分布中均值的倒數(shù) 的共軛先驗分布是伽瑪分布Ga 在方差已知時 正態(tài)均值 的共軛先驗分布是正態(tài)分布N 2 在均值已知時 正態(tài)方差 2的共軛先驗分布是倒伽瑪分布IGa 總結(jié) 1 利用貝葉斯公式會由先驗分布求后驗分布2 記住常見的共軛先驗分布 練習(xí)1 8 1 10作業(yè) 1 9 1 12 1 4超參數(shù)及其確定 定義 先驗分布中所含的未知參數(shù)稱為超參數(shù) 例成功概率的共軛先驗分布為Be 它含有兩個超參數(shù) 注意 一般來說 共軛先驗分布含有超參數(shù) 而無信息先驗分布一般不含超參數(shù) 共軛先驗分布是一種有信息的先驗分布 故其中所含的超參數(shù)應(yīng)充分利用各種先驗信息來確定 下面結(jié)合具體的例子介紹一些確定超參數(shù)的方法 例1 11在二項分布中的成功概率 的共軛先驗分布是貝塔分布Be 是其兩個超參數(shù) 一 利用先驗矩 利用先驗信息能獲得成功概率 的若干個估計值 記為 1 2 k 一般它們是從歷史數(shù)據(jù)整理加工獲得的 由此可算得先驗均值 和先驗方差S 2 其中 然后令其分別等于貝塔分布Be 的期望與方差 解之 可得參數(shù) 與 的估計值 二 利用先驗分位數(shù) 假如根據(jù)先驗信息可以確定貝塔分布的兩個分位數(shù) 則可利用這兩個分位數(shù)來確定 與 的估計值 例如用兩個上下四分位數(shù) U和 L來確定 與 從這兩個方程解出 與 三 利用先驗矩和先驗分位數(shù) 假如根據(jù)先驗信息可獲得先驗均值 和p分位數(shù) p 則可列出下列方程的 解之 可得參數(shù) 與 的估計值 四 其它方法 假如根據(jù)先驗信息可獲得先驗均值 令 再利用其它先驗信息求出 與 的估計值 總結(jié)