第六章-主成分分析法

第六章主成分分析法主成分分析法是將高維空間變量指標(biāo)轉(zhuǎn)化為低維空間變量指標(biāo)的一種統(tǒng)計方法。由于評價對象往往具有多個屬性指標(biāo)，較多的變量對分析問題會帶來一定的難度和復(fù)雜性。然而，這些指標(biāo)變量彼此之間常常又存在一定程度的相關(guān)性，這就使含在觀測數(shù)據(jù)中的信息具有一定的重疊性。正是這種指標(biāo)間的相互影響和重疊，才使得變量的降維成為可能。即在研究對象的多個變量指標(biāo)中，用少數(shù)幾個綜合變量代替原高維變量以達(dá)到分析評價問題的目的。當(dāng)然，這少數(shù)指標(biāo)應(yīng)該綜合原研究對象盡可能多的信息以減少信息的失真和損失，而且指標(biāo)之間彼此相互獨立。引言主成分分析，也稱主分量分析，由皮爾遜（Pearson）于1901年提出，后由霍特林（Hotelling）于1933年發(fā)展了，這也正是現(xiàn)在多元統(tǒng)計分析中的一種經(jīng)典統(tǒng)計學(xué)觀點。經(jīng)典統(tǒng)計學(xué)家認(rèn)為主成分分析是確定一個多元正態(tài)分布等密度橢球面的主軸，這些主軸由樣本來估計。然而，現(xiàn)代越來越多的人從數(shù)據(jù)分析的角度出發(fā)，用一種不同的觀點來考察主成分分析。這時，不需要任何關(guān)于概率分布和基本統(tǒng)計模型的假定。這種觀點實際上是采用某種信息的概念，以某種代數(shù)或幾何準(zhǔn)則最優(yōu)化技術(shù)對一個數(shù)據(jù)陣的結(jié)構(gòu)進(jìn)行描述和簡化。主成分分析方法的主要目的就是通過降維技術(shù)把多個變量化為少數(shù)幾個主要成分進(jìn)行分析的統(tǒng)計方法。這些主要成分能夠反映原始變量的絕大部分信息，它們通常表示為原始變量的某種線性組合。為了使這些主要成分所含的信息互不重迭，應(yīng)要求它們互不相關(guān)。當(dāng)分析結(jié)束后，最后要對主成分做出解釋。當(dāng)主成分用于回歸或聚類時，就不需要對主成分做出解釋。另外，主成分還有簡化變量系統(tǒng)的統(tǒng)計數(shù)字特征的作用。對于任意p個變量，描述它們自身及其相互關(guān)系的數(shù)字特征包括均值、方差、協(xié)方差等，共有個參數(shù)。經(jīng)過主成分分析后，每個新變量的均值和協(xié)方差都為零，所以，變量系統(tǒng)的數(shù)字特征減少了個。在對變量系統(tǒng)進(jìn)行簡化時，最重要的是當(dāng)系統(tǒng)變量被有效地降到2維時（即兩個主成分），就可以在平面上描繪每個樣本點，以獲得直接觀察樣本點間的相關(guān)關(guān)系以及樣本群點的分布特點和結(jié)構(gòu)。所以，主成分分析使高維數(shù)據(jù)點的可見性成為可能。在數(shù)據(jù)信息的分析過程中，對直觀圖像的觀察是一種重要手段，它能更好地協(xié)助系統(tǒng)分析人員的思維與判斷，及時發(fā)現(xiàn)大規(guī)模復(fù)雜數(shù)據(jù)群重的普遍規(guī)律與特殊現(xiàn)象，極大地體高數(shù)據(jù)信息的分析效率。在當(dāng)今的決策支持系統(tǒng)理論與方法的研究中，將抽象空間或者高維空間中的信息以及一些更為復(fù)雜現(xiàn)象轉(zhuǎn)換為直觀的平面圖示是一種重要的研究途徑，能夠提高決策人員的洞察能力。主成分分析法來源于實踐。例如，從事數(shù)據(jù)分析工作的人往往面臨一張數(shù)據(jù)表，即數(shù)據(jù)矩陣。例如，在分析學(xué)生學(xué)習(xí)情況時，得到一張成績表，該表的列表示某門課程各學(xué)生成績，行表示一個學(xué)生的各科成績。一般而言，我們可以構(gòu)造一個數(shù)據(jù)矩陣，列表示變量或指標(biāo)，行表示相應(yīng)變量的測量數(shù)據(jù)。一個數(shù)據(jù)矩陣階數(shù)往往非常大，使人眼花繚亂，抓不住重點，找不出規(guī)律。主成分分析的主要任務(wù)就是以某種最優(yōu)方法綜合一張數(shù)據(jù)表的信息，以達(dá)到簡化數(shù)據(jù)矩陣，降低數(shù)據(jù)維數(shù)，從而揭示其主要結(jié)構(gòu)信息，并提出關(guān)于數(shù)據(jù)矩陣所提供信息的合理解釋。尤其是，這方面的一個著名成功應(yīng)用實例是美國統(tǒng)計學(xué)家斯通（Stone）在1947年對美國國民經(jīng)濟(jì)的研究。他利用美國1929—1938年各年的數(shù)據(jù)，得到了17個反映國民收入與支出的變量要素，如雇主補(bǔ)貼、消費資料、生產(chǎn)資料、純公共支出、凈增庫、股息、利息、以及外貿(mào)平衡等等。在進(jìn)行主成分分析后，用三個變量就取代了原來的17個變量，并且精度高達(dá)97.4%。根據(jù)經(jīng)濟(jì)學(xué)知識，斯通給這三個綜合變量分別取名為總收入F1、總收入變化率F2、經(jīng)濟(jì)發(fā)展或衰退的趨勢F3。更有意思的是，這三個新變量其實都是可以直接測量的。主成分分析法的主要降維思想可用如下簡單幾何觀點解釋。假設(shè)矩陣A是對具有p個變量指標(biāo)的n個樣本所測量的數(shù)據(jù)矩陣。矩陣A的n行可看作空間Rp中的n個點或向量，表示n個個體，而。主成分分析本質(zhì)上就是對原坐標(biāo)系進(jìn)行平移和旋轉(zhuǎn)變換，使得新坐標(biāo)的原點與數(shù)據(jù)群的重心重合，新坐標(biāo)系的第一個坐標(biāo)軸與數(shù)據(jù)變異的最大方向相對應(yīng)，新坐標(biāo)系的第二軸與第一軸標(biāo)準(zhǔn)正交，并且對應(yīng)于數(shù)據(jù)變異的第二大方向，以此類推。這些新軸分別被稱為第一主軸U1，第二主軸U2，…。如果經(jīng)過舍去少量信息后，主軸能夠十分有效地表示原數(shù)據(jù)的變異情況，則原來的p維空間Rp就被降至m維空間Rm。生成的空間被稱為m維主超平面，尤其是當(dāng)m=2時，就簡稱為主平面。這樣就可以用原樣本群點在主超平面上的投影來近似表達(dá)原樣本群。原樣本點在主超平面的第一主軸上的投影稱為第一主成分u1，它構(gòu)成新數(shù)據(jù)表的第一個分析變量，在主超平面的第二主軸上的投影稱為第二主成分u2，它構(gòu)成新數(shù)據(jù)表的第二個分析變量，…。記主成分uk均值和方差分別為E(uk)、Var(uk)，則主成分的分析結(jié)果為數(shù)學(xué)原理對于給定的一個高維（p維）復(fù)雜變量系統(tǒng)（n個樣本），現(xiàn)在需要分析此變量系統(tǒng)的信息結(jié)構(gòu)。為此，我們希望對原數(shù)據(jù)進(jìn)行簡化，但要達(dá)到信息損失最小，以期分析數(shù)據(jù)結(jié)構(gòu)。從數(shù)學(xué)上講，就是要對原數(shù)據(jù)變量降維，以獲得新的變量對問題進(jìn)行解釋。要達(dá)到這一目的，可從多種途徑考察，現(xiàn)簡述如下。（1）數(shù)據(jù)變異方向最大原理如果試圖以一個一維向量空間取代原p維向量空間，則應(yīng)該尋找數(shù)據(jù)群點分布方差最大的一個方向u1，將其作為新的綜合變量方向，再將所有樣本點在該方向上投影，就可獲得原數(shù)據(jù)群在一維空間的最佳近似表示。如果要在二維空間中近似地表示原數(shù)據(jù)群點，則要尋找一個與u1垂直的方向u2，且數(shù)據(jù)群在此方向u2的分布方差僅次于，是第二大的。如此下去，直到滿足最大限度地保持原數(shù)據(jù)信息為止。（2）最小二乘原理對原p維空間Rp中的樣本群，現(xiàn)在要通過一個線性變換，將其變?yōu)楦途S的空間，使得原數(shù)據(jù)點在此空間的投影能近似地代替原數(shù)據(jù)，且信息損失最少。這實際上只需應(yīng)用最小二乘原理。設(shè)原數(shù)據(jù)點Xk在空間的投影點為，則信息損失最少就是下式成立其中為樣本點的權(quán)重。（3）數(shù)據(jù)群相似度改變最小原理假設(shè)以距離來衡量樣本點之間的相似性，則主成分分析理論證明主超平面可以使數(shù)據(jù)群的相似性改變最?。ù藭r用m維主超平面近似表達(dá)原數(shù)據(jù)群），此即（4）系統(tǒng)變量綜合表現(xiàn)能力最佳原理如果試圖用一個綜合變量來代替原數(shù)據(jù)變量，則第一主成分u1就是最好的選擇。用統(tǒng)計語言描述就是變量u1與原數(shù)據(jù)變量的相關(guān)系數(shù)最大，如果是用兩個主成分u1、u2來綜合原數(shù)據(jù)信息，則要求下式成立下面以系統(tǒng)變量綜合表現(xiàn)能力最佳原理為出發(fā)點，詳細(xì)討論主成分分析原理。對于給定的p維隨機(jī)向量，假定二階矩存在，記?？紤]如下線性變換我們的目的是變換后的y1是的一切線性函數(shù)中方差最大的。但由于有所以應(yīng)該限制變換（6.1）的系數(shù)矩陣行向量為單位向量。這樣問題變?yōu)槿缦聠栴}的解，此時y1稱為第一主成分。設(shè)為非負(fù)定矩陣V的特征根，為相應(yīng)的單位特征向量，且兩兩相互正交。令為正交矩陣，則有由于有特別取有因此，就是所求的第一主成分，其方差具有最大值。如果第一主成分所含信息不夠多，不足以代表原始的p個變量，則要考慮第二主成分y2。為了使y2所含信息與y1不重迭，應(yīng)要求因此，第二主成分就是下列問題的解同樣可以求第三主成分，第四主成分等等。一般而言，第k主成分是下列問題的解現(xiàn)在求第二主成分。由（6.3）知于是，從而有當(dāng)取時，則有所以，就是所求的第二主成分，且具有方差。以此類推，我們可求出第k主成分為或者具體寫為具有方差（）。性質(zhì)及算法假設(shè)反映研究對象屬性的指標(biāo)有p個，，將這些指標(biāo)看成p維隨機(jī)變量，則它的期望記為，二階矩（協(xié)方差矩陣）記為。對于這種對象觀察了n個樣本，其數(shù)據(jù)矩陣記為。從上面的分析看出，當(dāng)把每個指標(biāo)看成隨機(jī)變量時，觀察的n個對象便是相應(yīng)樣本值。據(jù)此計算矩陣V的特征根和相應(yīng)的單位特征向量，便可構(gòu)造第k主成分可直接寫成。為了統(tǒng)一認(rèn)識，下面將這種主成分的性質(zhì)羅列出來以備查用。（1）主成分的均值、協(xié)方差、方差記主成分，從前面的討論知道。寫則有對于原始變量與主成分之間的總方差，由于所以也就是說，主成分分析把原始的p個變量的總方差tr(V)分解成了p個不相關(guān)變量的方差之和。（2）主成分兩兩正交，且（3）我們稱為對X的主成分變換。此變換是可逆的，且，被稱為用主成分的恢復(fù)數(shù)據(jù)變換。（4）原始變量X與主成分Y之間的相關(guān)性根據(jù)得，此即故有（5）主成分對原始變量的貢獻(xiàn)率我們將第k主成分yk占總方差的比例稱為主成分yk的貢獻(xiàn)率。第一主成分y1的貢獻(xiàn)率最大，表明它解釋原始變量的能力最強(qiáng)，而的解釋能力依次減弱。主成分分析的目的就是為了減少變量的個數(shù)，因此一般是不會使用所有p個主成分的，忽略一些帶有較小方差的主成分將不會給總方差帶來大的影響。前q個主成分的貢獻(xiàn)率之和為稱為主成分的累計貢獻(xiàn)率。它表明解釋原始變量的能力。通常取較小的主成分變量維數(shù)q，使得累計貢獻(xiàn)率達(dá)到一個較高的百分比（通常要求80%以上）。這時的主成分可用來代替原始變量，從而達(dá)到降低變量維數(shù)的目的，同時使得原始信息損失盡量小。在了解了主成分的性質(zhì)后，我們現(xiàn)在可以討論主成分的計算步驟。對于給定的p維空間Rp中的n個樣本，其數(shù)據(jù)矩陣記為。主成分的計算過程如下：Step1：計算隨機(jī)變量 X的協(xié)方差矩陣V=V(X)，其中Step2：計算矩陣S的前q個特征根使得，其中通常取80%左右，通過（6.6）計算。Step3：計算矩陣S的前q個特征根所對應(yīng)的單位特征向量Step4：根據(jù)（6.4）計算前q個主成分分量Step5：根據(jù)（6.9）中原始變量與各主成分之間的系數(shù)關(guān)系做出解釋，必要時給出圖示。說明：（1）由于有些問題中各項指標(biāo)的量綱不一致，從而可能造成協(xié)方差矩陣中數(shù)據(jù)差異較大，為了消除這種差異，可以將協(xié)方差矩陣改為相關(guān)矩陣，上面的所有討論結(jié)果完全一樣，并不影響最終的結(jié)果。所以，可用相關(guān)矩陣R代替二階矩V，此時有注意公式（6.10）與（6.8）的差別。（2）如果不知道隨機(jī)變量X的分布，從而無法計算其期望及二階矩，則還可以用樣本的點估計代替。假設(shè)對隨機(jī)變量X進(jìn)行了n次觀察，其樣本矩陣記為，則有如下估計計算，令則有（3）當(dāng)用協(xié)方差矩陣或者計算主成分時，獲得的主成分表達(dá)式（6.9）要變?yōu)榇藭r對應(yīng)的指標(biāo)是：應(yīng)用技術(shù)主成分分析法主要是對研究對象的高維指標(biāo)實施降維，以便簡化問題，分析問題。因此，當(dāng)獲得了需要的主成分后，我們首先就是對主成分做出解釋，分析主成分表達(dá)式（6.9）的系數(shù)及其代表的含義。其次，主成分可用于揭示數(shù)據(jù)的奇異性，達(dá)到最終剔除奇異數(shù)據(jù)的目的。最后，也是主成分應(yīng)用最重要的一點，就是對研究對象及其系統(tǒng)做出綜合評價。一、主成分的解釋主成分是對原始變量的綜合，然而原始變量都有明確的含義，無論是物理的，還是經(jīng)濟(jì)的。于是，自然要問對原始變量綜合后的每個主成分又有什么含義呢？這就是主成分的解釋。這種解釋可以幫助我們更清楚地認(rèn)識研究系統(tǒng)的系統(tǒng)結(jié)構(gòu)、系統(tǒng)構(gòu)成、系統(tǒng)特征等。尤其是對時間序列數(shù)據(jù)進(jìn)行主成分分析時，主成分分析能夠反映系統(tǒng)特征的變化趨勢，這種趨勢對于系統(tǒng)預(yù)測具有非常重要的意義。解釋主成分時，主要分析主成分表達(dá)式（6.9）的組合系數(shù)，并結(jié)合實際背景確定主成分及其相關(guān)系數(shù)含義。對于公式（6.9）右端的系數(shù)稱為第k主成分在第j個原始變量上的載荷。它度量了對的重要程度。在解釋主成分時，我們需要考察載荷以及主成分與原始變量之間的相關(guān)性。根據(jù)公式（6.6）可知，載荷與相關(guān)系數(shù)成正比，僅相差一個常數(shù)倍。這樣，我們可以通過觀察主成分（6.9）的組合系數(shù)的大小及其符號，對主成分的物理含義做出解釋、判斷。如果這些系數(shù)既有正，又有負(fù)，說明該項主成分與一部分原始變量正相關(guān)，一部分負(fù)相關(guān)。正相關(guān)時，與的變化趨勢同向；負(fù)相關(guān)時，反向。如果組合系數(shù)大，說明與的關(guān)系密切。通常可以根據(jù)這些分析及其研究問題的背景，給出主成分的名稱定義。另外，對于公式（6.4）中最后一個主成分，由于它的貢獻(xiàn)率往往非常小，此時可以認(rèn)為，此即接近于一個常數(shù)。雖然，的貢獻(xiàn)小而顯得不重要，但卻可能揭示出變量之間的一個共線性關(guān)系。如果最后幾個主成分的貢獻(xiàn)率都非常小，則可能表示變量之間有幾個共線性關(guān)系。這方面容易忽略，但對問題的分析確有幫助，應(yīng)該重視。二、綜合評價從前面的討論知道，第一主成分與原始變量的綜合相關(guān)度最大。從這個意義上來講，如果試圖應(yīng)用一個綜合變量來代替原始變量，則選擇第一主成分是最好的辦法。另一方面，第一主成分也是數(shù)據(jù)變異最大的方向，即是使原數(shù)據(jù)信息損失最小、精度最高的一維綜合變量。所以說，可以將用作系統(tǒng)評估指數(shù)。同時，由于在第一主成分方向上，樣本點的性質(zhì)差距最大，也易于對它們進(jìn)行排序評估。顯然，的貢獻(xiàn)率可當(dāng)作評估的精度。但要注意，如果對問題進(jìn)行排序評價時，則要小心。此時要求第一主成分表達(dá)式中的所有載荷都為正，即與所有原始變量都正相關(guān)，才能將用作系統(tǒng)排序評價。否則，不能將用作系統(tǒng)評價排序。另外需要注意的是，第一主成分的載荷必須滿足，才能將其用作綜合評價指標(biāo)。因為如果某項載荷為零，即，或近似為零，則在評價時，可能會遺漏對應(yīng)指標(biāo)的重要信息。一般情況下，如果要將所有主成分都用作評價系統(tǒng)時，有文獻(xiàn)建議如下評價公式上式中的為前k個主成分，其系數(shù)為權(quán)重。這里同樣需要注意一個問題，就是所有主成分的載荷都為正時，才能將此公式用作綜合評價。否則，由于這種多指標(biāo)屬性的無序（一些正相關(guān)，一些負(fù)相關(guān)），不能這樣簡單地構(gòu)造評價公式。應(yīng)用范例為了說明主成分分析的應(yīng)用，這里將用兩個實例進(jìn)行分析。問題A：中國城鎮(zhèn)居民家庭消費分析[1]為了分析我國城鎮(zhèn)居民家庭消費結(jié)構(gòu)，統(tǒng)計了1999年我國31個省、市和自治區(qū)的城鎮(zhèn)居民家庭平均每人全年消費性支出的八個主要變量數(shù)據(jù)（資料來源：2000年《中國統(tǒng)計年鑒》），單位：元，具體見表6-1。這八個變量分別是：食品交通和通訊衣著娛樂教育文化服務(wù)家庭設(shè)備用品及服務(wù)居住醫(yī)療保健雜項商品和服務(wù)城鎮(zhèn)居民家庭消費性支出數(shù)據(jù)表6-1地區(qū)北京2959.19730.79749.41513.34467.871141.82476.42457.64天津2459.77495.47697.33302.87284.19735.97570.84305.08河北1495.63515.90362.37285.32272.95540.58364.91186.63山西1406.33477.77290.15206.57201.50414.72281.84212.10內(nèi)蒙古1303.97524.29254.83192.17249.81463.09287.87192.96遼寧1730.84553.90246.91279.81239.18445.20330.24163.86吉林1561.86492.42200.49216.36220.69459.62360.48147.76黑龍江1410.11510.71211.88277.11224.65376.82317.61152.85上海3712.31550.74893.37346.93527.001034.98720.33462.03江蘇2207.58449.37572.40211.92302.09585.23429.77252.54浙江2629.16557.32689.73435.69514.66795.87575.76323.36安徽1844.78430.29271.28126.33250.56513.18314.00151.39福建2709.46426.11334.12160.77405.14461.67535.13232.29江西1563.78303.65233.81107.90209.70393.99509.39160.12山東1675.75613.32550.71219.79272.59599.43371.62211.84河南1427.65431.79286.55206.14217.00337.76421.31165.32湖北1783.43511.88282.84201.01237.60617.74523.52182.52湖南1942.23512.27401.39206.06321.29697.22492.60226.45廣東3055.17353.23564.56356.27811.88873.06106.82420.81廣西2033.87300.82336.65157.78329.06621.74587.02216.27海南2057.86186.44202.72171.79329.65477.17312.93279.19重慶2303.29589.99516.21236.55403.92730.05436.41225.80四川1974.28507.76344.79203.21240.24575.10430.36223.40貴州1673.82437.75461.61153.32254.66445.59346.11191.48云南2194.25537.01369.07249.54290.84561.91407.70330.95西藏2646.61839.70204.44209.11379.30371.04269.59389.33陜西1472.95390.89447.95259.51230.61490.90469.10191.34甘肅1525.57472.98326.90219.86206.65449.69249.66226.19青海1654.69437.77256.78303.00244.93479.53286.56236.51寧夏1375.46480.89273.84317.32251.08424.75226.73195.93新疆1606.82536.05432.46235.82250.28541.30344.85214.40消費性支出相關(guān)矩陣數(shù)據(jù)表6-21.0000.2471.0000.6980.2581.0000.4680.4230.6211.0000.8280.0860.5850.5311.0000.7690.2550.8560.6840.7081.0000.670-0.2010.5690.3140.8000.6471.0000.8770.3490.6670.6280.7760.7450.5251.000由于各項指標(biāo)數(shù)據(jù)差異較大，下面通過相關(guān)矩陣進(jìn)行主成分分析。通過計算，給出的8項指標(biāo)的相關(guān)矩陣列于表6-2。由于相關(guān)矩陣的對稱性，所以表6-2中僅列出了下三角部分?jǐn)?shù)據(jù)。通過計算，相關(guān)矩陣前三個特征根、特征向量、貢獻(xiàn)率見表6-3。的前三個特征根、特征向量、貢獻(xiàn)率表6-3特征向量0.401-0.0770.4150.1320.7490.3320.3750.065-0.4420.3200.345-0.4780.388-0.2320.2790.4060.027-0.3100.326-0.496-0.0340.3960.0960.345特征值5.0981.3520.574貢獻(xiàn)率0.6370.1690.072累計貢獻(xiàn)率0.6370.8060.878由表6-3可知，取前兩個和三個特征根就可獲得累計貢獻(xiàn)率80.6%和87.8%。于是可構(gòu)造前三個主成分如下：對于第一主成分，除了在上的載荷稍偏小外，其余都有幾乎相等的正載荷，反映了綜合性消費支出水平。因此，第一主成分稱為綜合消費性支出成分。第二主成分在變量上有很高的正載荷，在變量上有中等的正載荷，而在其余變量上有負(fù)載荷或很小的正載荷?？梢哉J(rèn)為這個主成分度量了受地區(qū)氣候影響的消費性支出（主要是衣著，其次是醫(yī)療保健）在所有消費性支出中占的比重（也可理解為一種消費傾向），第二主成分可稱為消費傾向成分。第三主成分很難給出明顯的解釋，因此我們只取前面兩個主成分。記，它是消費性總支出。與之間存在著高達(dá)r=0.989的正相關(guān)性，雖然這兩個變量的關(guān)系極為密切，且意義相近，但兩者還是有一定區(qū)別的。中各變量對的作用可以有很大的不同。如的作用就特別大；而是對作標(biāo)準(zhǔn)化變換（是基于對每項消費性支出平等看待的要求）后得到的，依據(jù)的表達(dá)式，中的每個變量對的作用是大致相同的。此外，的含義是完全明確的，而的含義是在某種意義上的。某地區(qū)的值取決于該地區(qū)中的每個變量值在所有31介地區(qū)中的相對大小，它是這八個變量值相對大小的綜合值。主成分分析能夠揭示出中所不具有的重要信息（如消費傾向）。按第一主成分排序的31個地區(qū)名次表6-4地區(qū)地區(qū)江西-2.234-1.867新疆-0.6970.647河南-1.947-0.388四川-0.5330.041黑龍江-1.9270.636廣西-0.251-2.058吉林-1.8590.151山東-0.1470.983山西-1.8480.404福建0.201-1.337內(nèi)蒙古-1.8260.509湖南0.219-0.203安