應用潛在分類泊松回歸模型及EM算法分析陳述偏好數據：.doc

統(tǒng)計計算案例1，呂曉玲應用潛在分類泊松回歸模型及EM算法分析陳述偏好數據：以網絡購物使用次數為例1. 問題提出隨著網絡的興起，網上購物已經在人們的生活中發(fā)揮著越來越重要的作用。網上購物以其方便快捷等特點吸引了很多購物者，但是也有一些人質疑網上購物安全性、不可觸摸性等問題。影響人們選擇網上購物的因素有很多，不同的人對網上購物也有不同的態(tài)度。大學生是網絡購物這個群體的很重要的一部分，什么因素影響大學生對網絡購物的選擇？大學生由于對網絡購物的態(tài)度取向不同可分為多少潛在的類別？本文應用陳述偏好方法（stated preference method）收集大學生網上購物的數據，并應用潛在分類泊松回歸模型（latent class Poisson regression model）及EM算法分析數據，回答以上兩個問題。2. 數據收集源于心理學的陳述偏好調查已經被市場營銷中研究消費者行為廣泛應用。雖然在進行每個具體研究時操作不盡相同，總的原則是事先設定幾個重要因素，每個因素有若干水平，然后提出一些假想情景，每個情景是這些因素不同水平的組合。受訪者按照他們的喜好給不同的情景打分或者排序。研究者應用模型分析數據，尋找各因素的重要性。為了確定影響網絡購物的重要因素，我們首先開展了預調查，針對購買商品的種類、價格、郵費、賣家信用度、介紹商品詳細程度以及網上購物節(jié)省時間和到貨時間等因素對大學生進行了調查，并應用簡單統(tǒng)計分析得到了對網上購物次數影響比較顯著的四個因素，分別是購買商品的種類、價格、賣家信譽度以及介紹商品的詳細程度。具體因素和因素水平如下所示：種類：服飾，化妝品，文體價格：50元，100元，150元，200元，250元賣家或網站的信譽度：1，2，3，4，5 介紹商品的詳細程度：1，2，3，4，5 若每一種組合都進行調查則共有組合，在這里運用了正交設計的方法進行試驗設計，共進行75種不同的組合，將這75種組合分成25組，每組中包含3個場景（分別為3個不同的種類），每一個被調查者將被給定3個不同的場景。每個被調查者回答的問題是在特定的場景能夠在十次購物中選擇網上購物的可能次數。我們總共訪問了197名在京大學生，得到了在588種場景下他們對網絡購物的使用情況的有效回答。3. 模型介紹市場營銷中常用的分析陳述偏好數據的方法是聯(lián)合分析（conjoint analysis），我們這里使用泊松回歸模型，因為：（1）因變量不是受訪者對場景的排序，而是使用網絡購物的次數，它是一個取值為離散整數的變量，可以假設服從泊松分布；（2）可以對泊松回歸模型進一步應用潛在分類模型分析受訪者的異質性。我們首先介紹泊松回歸模型和潛在分類模型，然后介紹如何應用最大似然法和EM算法估計參數。令為第（）個個體在面臨第（）種場景時的選擇，服從參數為的泊松分布。因為從平均的意義上來講，取值越大意味著受訪者越傾向于多次使用網絡購物，所以可理解為該場景的效用（utility），它是這個場景各因素水平和受訪者個人特征的函數：，其中：是維協(xié)變量，是參數，體現了受訪者對協(xié)變量變化的反映，如果假設它是常數，則表明受訪者是同質的（Homogeneity），但我們知道，不同受訪者對不同的協(xié)變量的重要程度看法是不一樣的，也就是說人群有異質性（Heterogeneity），處理這種問題的辦法是假設為一個隨機變量，服從概率分布。這里我們可以假設為一個連續(xù)的多元密度函數，但由于無法判定哪種形式以及在參數估計的時候很難計算多維積分，所以一般來說我們不采取這種方式，取而代之的是假設是一個離散的多元分布，取值為，相應的概率密度是，的大小以及和的取值均由數據估計得到。我們稱這種方法為潛在分類模型或者離散隨機系數模型（discrete random-coefficient model）。在上述模型假定下，我們知道第個個體在面臨第種場景時，給定參數取值為時，泊松分布的參數。則第個個體的無條件概率密度為： （1）如果使用最大似然法估計參數，樣本的似然函數可以寫成： （2）4. 估計方法可以看到似然函數的形式很復雜，即使使用數值算法，也不容易找到全局最優(yōu)的最大似然估計。這里我們使用EM算法。引入缺失變量： （3）假定，的分布為獨立同分布，密度函數是，則，其中，。完全對數似然函數可寫成： （4） （5）其中，應用EM算法，首先給定初始參數估計值。之后的迭代（）過程中，E步就是在給定觀測數據和參數估計的情況下，對完全對數似然函數以的分布求期望，因為（5）中完全對數似然函數是的線性函數，所以它的期望也是期望的線性函數。為了求給定觀測數據和參數估計的條件期望，我們需要尋找它的條件分布。因為，所以。則的條件期望是： （6）所以在E步得到的完全對數似然函數的期望是： （7）M步即是最大化（7）式得到更新的。可以看到（7）式右側第一項僅與有關，并且和式的每一項與一個s對應，（7）式右側第二項僅與有關，可以單獨優(yōu)化，大大降低了似然函數的復雜度。此外，EM算法所得估計量的均方誤差可以由Louis公式計算而得。5. 數據分析應用上述模型分析大學生網絡購物數據，首先把分類變量（商品種類）轉化為0、1變量，即當同時取0時，表示種類為文體。我們使用BIC準則來確定S的取值。從S=1開始，模型的BIC開始下降，并且到某一值時，開始上升。我們就選擇使得BIC取最小值的S。從表1可以看出S=3。表2給出了模型在S=3和S=1（沒有異質性）時的參數估計值。當S=1（假設受訪者沒有異質性時），受訪者整體表現出更傾向于多次購買文體類商品，使用次數隨商品價格下降，增加賣家或網站的信譽以及介紹商品的詳細程度可以增加受訪者的使用網絡購物的次數。當S=3時，可以看到受訪者分為三類，在網絡購物的使用次數上，幾個因素對這三類受訪者有著不同的影響。根據表2的結果，第一類受訪者（約占18.89%）更傾向于購買文體類商品，也傾向于購買價格便宜的商品，并重視賣家或網站的信譽程度和介紹商品的詳細情況；第二類受訪者（約占48.62%）不在乎商品的種類、價格、以及介紹的詳細情況，只注重網站的信譽；第三類受訪者（約占32.49%）更傾向于購買文體類商品，不重視商品的價格和賣家或網站的信譽程度，但較看重介紹商品的詳細情況。 表1：BIC準則潛在類別估計參數的個數-Log LikelihoodBIC值161321.6941340.8242131257.9951299.4443201213.4821277.2504271203.6211286.518表2：參數估計值泊松回歸模型（潛在類別S=3）泊松回歸（S=1）類別1的概率p=0.1889類別2的概率p=0.4862類別3的概率p=0.3249加權均值截距-0.1139(0.5127)0.1706(0.1898)1.2464*(0.1959)0.4663(0.2529)0.5989*(0.1056)類別（服飾）-1.8109*(0.3731)-0.1476(0.1069)-0.2399*(0.09600)-0.4918*(0.1537)-0.3221*(0.05622)類別（化妝品）-2.5615*(0.5693)0.01659(0.09781)-1.7587*(0.1894)-1.0472*(0.2166)-0.7061*(0.06369)商品的價格-0.5378*(0.1724)-0.00466(0.06163)-0.02828(0.06243)-0.1131(0.08282)-0.0801*(0.03469)賣家或網站的信譽度0.3798*(0.08954)0.2424*(0.03018)0.05649(0.03384)0.2080*(0.04258)0.1814*(0.01772)介紹商品的詳細程度0.1784*(0.06997)0.05013(0.02986)0.1142*(0.03644)0.09520*(0.03957)0.09225*(0.01749)注：括號中是參數估計的標準誤差，其中*代表0.05的顯著性水平，*代表0.01的顯著性水平。6. 總結 本案例應用潛在分類的泊松回歸模型及EM算法分析了大學生對網絡購物的使用情況。最終得到三類人群，他們對商品類型、價格、賣家或網站的信譽度、以及介紹商品的詳細程度有著不同的重視程度，網絡營銷者可以根據此結果制定不同的營銷策略。此外，我們還可以進一步根據模型估計結果得到每個個體屬于哪一類，從而分析這三類人在個