BVAR模型簡介--精選文檔

1、貝葉斯向量自回歸模型（BVAR）簡介1、 貝葉斯方法原理簡介1 貝葉斯方法起源 英國學者T.貝葉斯1763年在論有關機遇問題的求解中提出一種歸納推理的理論，后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法。采用這種方法作統(tǒng)計推斷所得的全部結果，構成貝葉斯統(tǒng)計的內容。認為貝葉斯方法是唯一合理的統(tǒng)計推斷方法的統(tǒng)計學者，組成數(shù)理統(tǒng)計學中的貝葉斯學派，其形成可追溯到 20世紀 30 年代。到5060年代，已發(fā)展為一個有影響的學派。時至今日，其影響日益擴大。 2 貝葉斯定理及其特點 記為一個隨機觀察向量的聯(lián)合概率密度函數(shù)，為一個參數(shù)向量，它也看成是隨機的。根據(jù)通常對概率密度的運算有： (1.

2、2.1)因而 (1.2.2)其中。將上式表達如下： (1.2.3) 其中表示成比例，是在給定樣本信息后，參數(shù)向量的后驗概率密度，是參數(shù)向量的先驗概率密度，看作的函數(shù)，就是熟知的似然函數(shù)。式(1.2.3)將所有的先驗的、樣本的信息融入其中，先驗信息通過先驗密度進入后驗密度，而所有的樣本信息通過似然函數(shù)進入。 貝葉斯推斷的一般模式：先驗信息樣本信息后驗信息（見圖1） 先驗信息貝葉斯定理后驗分布預報密度樣本信息圖 1 貝葉斯推斷的基本模式 貝葉斯學派認為，先驗分布反映了實驗前對總體分布的認識，在獲得樣本信息后，人們對這個認識有了改變，其結果就反映在后驗分布中，即后驗分布綜合了參數(shù)先驗分布和樣本信息。

3、由此可以看出，頻率學派統(tǒng)計推斷是“從無到有”的過程：在實驗前，關于未知參數(shù)的情況是一無所知，而試驗后則有些了解，但對了解多少并無普遍的表述方法，在實踐中有賴于所使用的統(tǒng)計量的針對性。貝葉斯推斷則不然，它是一個“從有到有”的過程，且結果清楚自然，符合人們的思維習慣。根據(jù)所獲得的信息修正以前的看法，不一定從零開始。從本質上說，貝葉斯推斷方法概括了一般人的學習過程。 貝葉斯方法只能基于參數(shù)的后驗分布來分析問題。也就是說，在獲得后驗分布后，如果把樣本、原來的統(tǒng)計模型（包括總體分布和先驗分布）都丟掉，一點也不會影響將來的統(tǒng)計推斷問題，凡是符合這個準則的推斷就是貝葉斯推斷。據(jù)此，頻率學派中的矩估計、顯著性

4、統(tǒng)計檢驗和置信區(qū)間估計都不屬于貝葉斯推斷的范疇，但MLE估計則可視為均勻先驗分布下的貝葉斯估計。因此，作為頻率學派中一個很重要的極大似然估計，不過是在一種很特殊的先驗分布下的貝葉斯估計而已。3 先驗分布理論 式(1.2.3)中表示的先驗概率密度代表了我們對于一個模型中參數(shù)的先驗信息，是一個事前的自覺的認識（分“基于數(shù)據(jù)”的先驗和“非基于數(shù)據(jù)”的先驗），即在貝葉斯方法中，關于模型參數(shù)的先驗信息。先驗分布是貝葉斯推斷理論的基礎和出發(fā)點，它大體上可以分為擴散先驗分布和共軛先驗分布兩大類。3.1 擴散先驗分布3.1.1 位置參數(shù)的擴散先驗分布 如果隨機變量的分布密度函數(shù)為，則稱為位置參數(shù)。假設沒有信息

5、可以被利用，現(xiàn)在要確定的先驗分布。 如果將隨機變量做平移變換，同時對位置參數(shù)也做同樣的平移變換，則的分布密度函數(shù)為，顯然與有相同的統(tǒng)計結構，從而和有相同的先驗分布和概率空間。由Radom-Nikodym定理有 (1.3.1)取，可以得到，從而位置參數(shù)的擴散先驗分布為 (1.3.2) 對于正態(tài)分布 ，已知，此時是位置參數(shù)，利用上述結論，參數(shù)的擴散先驗分布為 (1.3.3) 3.1.2 尺度參數(shù)的擴散先驗分布 如果隨機變量的密度函數(shù)的形式為，則稱為尺度參數(shù)。如果改變尺度單位，令，易知的分布密度函數(shù)為；同樣地，與有相同的統(tǒng)計結構，和有相同的先驗分布，由Radom-Nikodym定理，對于尺度參數(shù)，在

6、無先驗信息可利用時，尺度參數(shù)的先驗密度函數(shù)，可取做 (1.3.4) 對于正態(tài)分布 ，已知， 未知，此時標準差是尺度參數(shù)，利用上述結論，參數(shù)的擴散先驗分布為 (1.3.5)3.2 共軛先驗分布 共軛分布是貝葉斯分析中常見的另一類參數(shù)先驗分布，其思想基礎是先驗的規(guī)律和后驗的規(guī)律具有一致性，這一要求的具體化就是先驗分布和后驗分布要屬于同一類分布族。對于每個具體的分布來說，都有其共軛分布，下面利用似然函數(shù)的因子分解式和充分統(tǒng)計量等分析方法來構造所需的共軛先驗分布。 定理3.2.1 假設是來自分布密度函數(shù)為，的總體的一個樣本，是參數(shù)的充分統(tǒng)計量，即似然函數(shù)可做下面分解： (1.3.6)其中與參數(shù)無關。如

7、果存在函數(shù)，它滿足如下兩個條件： （1）； （2） 有限，則為參數(shù)的共軛分布族。 這里只介紹共軛先驗分布的具體定義，有關它的相關結論見參考文獻2。4 貝葉斯方法的優(yōu)點 貝葉斯理論的哲理有很大的吸引力，并且方法簡單，它在統(tǒng)計推斷模式上與頻率學派的不同之處在于：頻率學派認為，似然函數(shù)概括了有關參數(shù)的全部信息，因此關于參數(shù)的統(tǒng)計推斷只要利用似然函數(shù)就夠了；而貝葉斯方法既利用了似然函數(shù)，又利用了參數(shù)先驗信息。如果先驗信息很少或者沒有先驗信息，這時貝葉斯推斷方法所得到的結論與頻率方法基本相同。 與頻率方法比較，貝葉斯方法有以下幾方面優(yōu)點：貝葉斯方法充分利用了樣本信息和參數(shù)的先驗信息，在進行參數(shù)估計時，通

8、常貝葉斯估計量具有更小的方差或平方誤差，能得到更精確的預測結果；貝葉斯HPD置信區(qū)間（最高后驗概率密度區(qū)間）比不考慮參數(shù)先驗信息的頻率置信區(qū)間短；能對假設檢驗或估計問題所做出的判斷結果進行量化評價，而不是頻率統(tǒng)計理論中的接受、拒絕的簡單判斷。2、 貝葉斯向量自回歸模型（BVAR）在變量較多，滯后階數(shù)較高時，即所要估計的參數(shù)較多的情況下，Bayesian估計方法提供了一個較好的方法，擬合效果要比傳統(tǒng)的極大似然估計方法好。1 貝葉斯非限制性VAR模型 如果令表示個變量在點處的取值，則向量序列的滯后階數(shù)為的非限制性VAR()模型可以表示為 (2.1.1) 此處是一個維向量，均為的系數(shù)矩陣，向量是一個

9、維白噪聲向量，即而是一個正定陣向量。 易知非限制性VAR()模型中的每個方程的解釋變量是相同的?？梢詫?2.1.1)化成多方程模型系統(tǒng)形式 (2.1.2) 其中進一步，若將向量和的轉置分別按行依次排列，各自形成一個矩陣，則上述個方程可以簡化為一個更為緊湊的矩陣表達形式 (2.1.3) 其中 特別地，對于擴散先驗分布，非限制性VAR()模型參數(shù)的后驗分布有如下結論：定理 1.1 在擴散先驗分布下，非限制性VAR()模型參數(shù)的后驗分布為 (2.1.4) 其中2 貝葉斯限制性VAR模型 在VAR()模型中，模型系數(shù)B可能受到某些條件的限制，如各方程中解釋變量并不完全相同，某些變量可能在部分方程中出現(xiàn)

10、，但并不出現(xiàn)在其他方程中；或者，部分方程中有線性趨勢項或季節(jié)變量，而其他方程不包含這些變量。 根據(jù)Zeller的觀點，在一般排斥性限制條件下，(2.1.1)式中的VAR()模型模型能夠寫成如下似不相關模型： (2.2.1) 此處是由第個變量個觀測值構成的維向量，是第個變量單方程模型的設計矩陣，它由變量的部分滯后項組成；是第個變量單方程模型的維系數(shù)向量，是維正態(tài)隨機誤差向量。若將這個方程寫成一個矩陣形式，則有 (2.2.2)其中 由于這一情形不作為我們研究的重點，所以這一部分的相關結論暫時省去，詳見參考文獻3。3 共軛先驗分布下模型的貝葉斯分析 對于一般共軛分布而言，由于超參數(shù)太多，VAR()模

11、型的貝葉斯推斷只具有理論上的意義，而不能應用于實際預測分析中，本節(jié)研究一類特殊的參數(shù)共軛先驗分布：Minnesota共軛先驗分布下VAR()模型的貝葉斯分析理論。 Minnesota先驗分布是Litterman于1986年提出來的，它主要用于解決共軛先驗分布下貝葉斯VAR()模型中超參數(shù)過多問題，提高模型的預測精度。3.1 Minnesota先驗分布 如果(2.1.1)式的VAR()模型不含常數(shù)項，則模型中的具體方程如下： (2.3.1) 顯然表示第個方程中變量的階滯后項的系數(shù)，如果隨機參數(shù)服從均值為、方差為的正態(tài)分布，此時模型(2.3.1)中參數(shù)先驗分布中需要確定的超參數(shù)至少有個：個先驗均值

12、和個先驗方差。如果不考慮先驗信息的可取性，在一般情況下要合理地給定這個超參數(shù)的取值是相當復雜和困難的，因此，必須想辦法減少需要賦值的超參數(shù)的數(shù)量，確定超參數(shù)的合理取值，提高模型的預測能力。Minnesota先驗分布就是解決這一問題的有效方法，它的基本假定包括以下幾個方面： （1）正態(tài)性 ； （2）協(xié)方差陣和系數(shù)相互獨立； （3）協(xié)方差陣的模型先驗分布取為擴散先驗分布，即 (2.3.2) （4）相互獨立服從正態(tài)分布，表示參數(shù)的最佳猜測值，而反映了對這個猜測的信心，其取值越小表示對此猜測的信心越大； （5）均值按照下述公式確定： (2.3.3)即方程左邊的變量只由其系數(shù)為1的滯后一階變量表示； （

13、6）標準差可以分解為4個因子的乘積，即 (2.3.4)此處是總體緊度，它的取值大小反映了分析人員對先驗信息的信心大小程度，較小的值代表了對先驗信息的較大把握；是階滯后變量相對一階變量的緊度，它表示過去信息比當前信息有用程度的減少；函數(shù)是第個方程中第個變量相對于第個變量的緊度，是變量的單變量自回歸模型的標準差。3.2 滯后延遲函數(shù) 在Minnesota先驗分布中，滯后延遲函數(shù)的選擇必須能反映這樣一個基本信念：隨著滯后長度的增加，滯后變量的系數(shù)趨向于零；據(jù)此這里使用Doan推薦的調和滯后延遲函數(shù)，形式如下： (2.3.5)3.3 相對緊度函數(shù) 在確定和后，先驗分布中超參數(shù)數(shù)量已經(jīng)從減少到：個相對緊

14、度函數(shù)，以及和；若進一步選擇合適的，則先驗分布中參數(shù)個數(shù)可大為減少。顯然，可以看做一個矩陣的處的元素，如果取如下形式的函數(shù)： (2.3.6)其中是一個介于的常數(shù)，它的取值大小反映了第個方程中其他變量（不包括及其滯后變量）的相對緊度。如果對所有的，均有成立，則個參數(shù)的選取問題轉化為確定一個超參數(shù)的大小。3.4 標準差之比的涵義 在Minnesota先驗分布的基本假設（6）中，是第個序列的自回歸殘差標準差與第個序列自回歸殘差標準差之比，由對常數(shù)項和其階滯后項的OLS回歸的殘差標準差得到。比例主要用于反應：先驗分布的設定必須考慮實際的樣本數(shù)據(jù)信息。 以上是Minnesota先驗分布的基本含義及其參數(shù)

15、設定問題的研究，為使上述描述更直觀，這里以一個滯后長度為2階的雙變量VAR()模型加以說明，該模型系數(shù)的Minnesota先驗分布為 (2.3.7)括號內的第一項為先驗分布的均值，第二項為先驗分布的方差。3.5 模型參數(shù)的后驗估計然后再寫成(2.2.2)的形式3.6 模型預測結果及其精度預測3.7 具體數(shù)值算例 首先，根據(jù)美國Estima公司提供的時間序列數(shù)據(jù)，利用Sims似然比檢驗量確定模型的最優(yōu)滯后階數(shù)，模型VAR()對模型VAR()的似然比檢驗統(tǒng)計量為表1. 模型最優(yōu)滯后階數(shù)的LR檢驗結果然后，選擇貝葉斯VAR模型中3個超參數(shù)，衰減參數(shù)()、總體緊度()和相對緊度()，此處考慮超參數(shù)的三

16、種組合情況（表2），并將相應的貝葉斯VAR模型分別記為BVAR1、BVAR2和BVAR3.表2. 模型超參數(shù)的選擇統(tǒng)計值，有關結果列于表3和表4.表3. 14步超前預測的平均西爾U統(tǒng)計值（1993:11998:4）表4. 58步超前預測的平均西爾U統(tǒng)計值（1993:11998:4）表3和表4所列的計算結果表明：在AR模型，VAR模型和三類貝葉斯VAR模型中，BVAR1、BVAR2和BVAR3模型的平均西爾U統(tǒng)計值均小于前兩類模型的平均西爾U統(tǒng)計值，這一點也可以從表5中看出，這說明貝葉斯VAR模型預測效果優(yōu)于AR模型和VAR模型。表5. 超前預測的組合綜合平均西爾U統(tǒng)計值3.8 結論 貝葉斯向量自回歸估計技術用一種簡單的方法來處理VAR模型中參數(shù)過多的問題，原則是當參數(shù)被判定在某一值時，使模型參數(shù)趨近于這一值而不是鎖定該確定值。所以，只要有必要的數(shù)據(jù)支持，這種隨機變量有某種可能的先驗分布，該先驗分布被認為包含了預測者在預測前所獲取的某種相關信息。如果這種信息缺乏，則可能是由于存在擴散的先驗分布。模型采用的先驗分布是隨機先驗分布，也稱為Minnesota先驗分布。相比V