多元統(tǒng)計分析--因子分析

1、2022-6-101 目錄 上頁 下頁 返回 結束 6.1 6.1 因子分析的基本理論因子分析的基本理論6.2 6.2 因子載荷的求解因子載荷的求解6.3 6.3 因子分析的步驟與邏輯框圖因子分析的步驟與邏輯框圖6.4 6.4 因子分析的上機實現因子分析的上機實現2022-6-102 目錄 上頁 下頁 返回 結束 因子分析因子分析(factor analysis)是一種數據簡化的技是一種數據簡化的技術。它通過研究眾多變量之間的內部依賴關系，探術。它通過研究眾多變量之間的內部依賴關系，探求觀測數據中的基本結構，并用少數幾個求觀測數據中的基本結構，并用少數幾個假想變量假想變量來表示其基本的數據結構

2、。這幾個假想變量能夠反來表示其基本的數據結構。這幾個假想變量能夠反映原來眾多變量的主要信息。原始的變量是可觀測映原來眾多變量的主要信息。原始的變量是可觀測的的顯在變量顯在變量，而假想變量是不可觀測的，而假想變量是不可觀測的潛在變量潛在變量，稱為稱為因子因子。因子分析的思想始于因子分析的思想始于1904年年Charles Spearman對學對學生考試成績的研究。生考試成績的研究。2022-6-103 目錄 上頁 下頁 返回 結束 6.1 6.1 因子分析的基本理論因子分析的基本理論6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想6.1.2 6.1.2 因子分析的基本理論及模型因子分

3、析的基本理論及模型 因子分析的基本思想是根據相關性大小把原因子分析的基本思想是根據相關性大小把原始變量分組，使得同組內的變量之間相關性較高，始變量分組，使得同組內的變量之間相關性較高，而不同組的變量間的相關性則較低。每組變量代而不同組的變量間的相關性則較低。每組變量代表一個基本結構，并用一個不可觀測的綜合變量表一個基本結構，并用一個不可觀測的綜合變量表示，這個基本結構就稱為公共因子。表示，這個基本結構就稱為公共因子。2022-6-104 目錄 上頁 下頁 返回 結束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想物理物理數學數學英語英語語文語文邏輯思維邏輯思維語言能力語言能力20

4、22-6-105 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（一）（一）Charles Spearman提出因子分析時用到的例子提出因子分析時用到的例子在該例中在該例中Spearman研究了研究了33名學生在古典語（名學生在古典語（C）、法語（）、法語（F）、英語（）、英語（E）、）、數學（數學（M）、判別（）、判別（D）和音樂（）和音樂（Mu）六門考試成績之間的相關性并得到如下）六門考試成績之間的相關性并得到如下相關陣：相關陣：2022-6-106 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分

5、析的基本理論及模型 式中，式中， 為第為第 門科目標準化后的考試成績，均值為門科目標準化后的考試成績，均值為0 0，方差為方差為1 1。 為公共因子，對各科考試成績均有影響，是為公共因子，對各科考試成績均有影響，是均值為均值為0 0，方差為，方差為1 1。 為僅對第為僅對第 門科目考試成績有影響門科目考試成績有影響的特殊因子，的特殊因子， 與與 相互獨立。也就是說，每一門科目相互獨立。也就是說，每一門科目的考試成績都可以看作是由一個公共因子（可以認為是一的考試成績都可以看作是由一個公共因子（可以認為是一般智力）與一個特殊因子的和。般智力）與一個特殊因子的和。 SpearmanSpearman注

6、意到上面相關陣中有一定的規(guī)律注意到上面相關陣中有一定的規(guī)律, , SpearmanSpearman指出每一科目的考試成績都遵從以下形式：指出每一科目的考試成績都遵從以下形式：iiieFaX（6.1） iFieiFieiX為對第為對第i 門科目考試成績的因子載荷門科目考試成績的因子載荷7 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型對對SpearmanSpearman的例子進行推廣，假定每一門科目的考試的例子進行推廣，假定每一門科目的考試成績都受到成績都受到 個公共因子的影響及一個特殊因子的影個公共因子的影響及一個特殊因子的影響，于是（響

7、，于是（6.16.1）就變成了如下因子分析模型的一般形）就變成了如下因子分析模型的一般形式：式：imimiiieFaFaFaX2211m(6.4)彼此獨立的公共因子，均值為彼此獨立的公共因子，均值為0，方差為，方差為1。 為特殊因子，與公共因子均不相關且均值為為特殊因子，與公共因子均不相關且均值為0。mFFF,21ieimiiaaa,212022-6-108 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型iXjX 所以當所以當 與與 在某一公共因子上的載荷均較大時，也就表在某一公共因子上的載荷均較大時，也就表明了明了 與與 的相關性較強。

8、的相關性較強。iXjXiXjX1)var()var(22221iimiiieaaaX（6.5）imimiiieFaFaFaX2211(6.4)共同度共同度剩余方差剩余方差jmimjijiijaaaaaar2211（6.6）模型模型(6.4)還可以很容易地得到如下還可以很容易地得到如下 與與 相關系數的關系式：相關系數的關系式：2022-6-109 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（二）一般因子分析模型（二）一般因子分析模型下面我們給出更為一般的因子分析模型：設有下面我們給出更為一般的因子分析模型：設有 個樣品，每個樣個樣品，

9、每個樣品觀測品觀測 個指標，這個指標，這 個指標之間有較強的相關性（要求個指標個指標之間有較強的相關性（要求個指標相關性較強的理由是很明確的，只有相關性較強才能從原始變相關性較強的理由是很明確的，只有相關性較強才能從原始變量中提取出量中提取出“公共公共”因子）。為了便于研究，并消除由于觀測因子）。為了便于研究，并消除由于觀測量綱的差異及數量級不同所造成的影響，將樣本觀測數據進行量綱的差異及數量級不同所造成的影響，將樣本觀測數據進行標準化處理，使標準化后的變量均值為標準化處理，使標準化后的變量均值為0 0，方差為，方差為1 1。為方便把。為方便把原始變量及標準化后的變量向量均用原始變量及標準化后

10、的變量向量均用 表示，用表示，用 表示標準化的公共因子。表示標準化的公共因子。 nppXmFFF,21)(pm 2022-6-1010 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（2 2） （ ）是不可觀測的變量，其均值向）是不可觀測的變量，其均值向 量量 ，協(xié)方差矩陣，協(xié)方差矩陣 ，即向量，即向量 的各分量是相互獨的各分量是相互獨立的；立的；如果：如果：（1 1） 是可觀測隨機向量，且均值向量是可觀測隨機向量，且均值向量 ，協(xié)，協(xié)方差矩陣方差矩陣 ，且協(xié)方差矩陣，且協(xié)方差矩陣 與相關陣與相關陣 相等；相等；),(21pxXXX0X

11、)(EX )cov(R),(21mFFFFpm 0F )(EIF )cov(F（3 3） 與與 相互獨立，且相互獨立，且 ， 的協(xié)方差陣的協(xié)方差陣 是對角方陣是對角方陣),(21pF0)(E222221100) cov(pp2022-6-1011 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型 即即 的各分量之間也是相互獨立的。則模型的各分量之間也是相互獨立的。則模型pmpmpppmmmmFaFaFaXFaFaFaXFaFaFaX2211222221212112121111 (6.7)稱為因子模型，模型稱為因子模型，模型(6.7)(6.7

12、)式的矩陣形式為：式的矩陣形式為：AFX (6.8)其中 pmppmmaaaaaaaaaA212222111211因子載荷矩陣因子載荷矩陣2022-6-1012 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型由模型（由模型（6.76.7）及其假設前提知，公共因子）及其假設前提知，公共因子 相互獨立相互獨立且不可測，是在原始變量的表達式中都出現的因子。公共因子且不可測，是在原始變量的表達式中都出現的因子。公共因子的含義，必須結合實際問題的具體意義確定。的含義，必須結合實際問題的具體意義確定。 叫做特叫做特殊因子，是向量殊因子，是向量 的分量

13、的分量 （ ）所特有的因子。各）所特有的因子。各特殊因子之間以及特殊因子與所有公共因子之間也都是相互獨特殊因子之間以及特殊因子與所有公共因子之間也都是相互獨立的。矩陣立的。矩陣 中的元素中的元素 稱為因子載荷，稱為因子載荷， 的絕對值大的絕對值大 ，表明表明 與與 的相依程度越大，或稱公共因子的相依程度越大，或稱公共因子 對于對于 的載荷量的載荷量越大，進行因子分析的目的之一，就是要求出各個因子載荷的越大，進行因子分析的目的之一，就是要求出各個因子載荷的值。值。 mFFF,21p,21XiXpi, 2 , 1Aijaija) 1|(|ijaiXjFjFiX2022-6-1013 目錄 上頁 下

14、頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型1.1.因子載荷因子載荷 的統(tǒng)計意義的統(tǒng)計意義 ija由模型(6.7)式mjjijijjiFFaFX1),cov(),cov(mjjijjijFFFa1),cov(),cov(ija（6.9）即即 是是 與與 的協(xié)方差，而注意到，的協(xié)方差，而注意到， 與與 （ ）都是均值為都是均值為0 0，方差為，方差為1 1的變量，因此，的變量，因此， 同時也是同時也是 與與 的相的相關系數。關系數。ijaiXjFiXjFmjpi, 2 , 1;, 2 , 1ijaiXjFimimiiieFaFaFaX22112022-

15、6-1014 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型2 2變量共同度與剩余方差變量共同度與剩余方差2var()1var( )iiiXhe (6.9) 越大表明越大表明 對公共因子的依賴程度越大，公共因子能解對公共因子的依賴程度越大，公共因子能解釋釋 方差的比例越大，因子分析的效果也就越好。方差的比例越大，因子分析的效果也就越好。2ihiXiX1)var()var(22221iimiiieaaaX（6.5）imimiiieFaFaFaX2211(6.4)2022-6-1015 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因

16、子分析的基本理論及模型因子分析的基本理論及模型3 3公因子公因子 的方差貢獻的方差貢獻jF 記記 （ ），則），則 表示的是公共因表示的是公共因 子子 對于對于 的每一分量的每一分量 （ ）所提供的方差的總和，）所提供的方差的總和，稱為公因子稱為公因子 對原始變量向量對原始變量向量 的方差貢獻，它是衡量公因子相的方差貢獻，它是衡量公因子相對重要性的指標。對重要性的指標。 越大，則表明公共因子越大，則表明公共因子 對對 的貢獻越大，的貢獻越大，或者說對或者說對 的影響和作用就越大。如果將因子載荷矩陣的影響和作用就越大。如果將因子載荷矩陣 的所有的所有 （ ）都計算出來，并按其大小排序，就可以依此

17、提煉）都計算出來，并按其大小排序，就可以依此提煉出最有影響的公共因子。出最有影響的公共因子。222212pjjjjaaagmj, 2 , 12jgjFXpi, 2 , 1iXjFX2jgjFXXA2jgmj, 2 , 1pmpmpppmmmmFaFaFaXFaFaFaXFaFaFaX22112222212121121211112022-6-1016 目錄 上頁 下頁 返回 結束 6.26.2 因子載荷的求解因子載荷的求解6.2.1 6.2.1 主成分法主成分法6.2.2 6.2.2 主軸因子法主軸因子法6.2.4 6.2.4 因子旋轉因子旋轉6.2.3 6.2.3 極大似然法極大似然法6.2.

18、5 6.2.5 因子得分因子得分6.2.6 6.2.6 主成分分析與因子分析的區(qū)別主成分分析與因子分析的區(qū)別2022-6-1017 目錄 上頁 下頁 返回 結束 6.26.2 因子載荷的求解因子載荷的求解 因子分析可以分為確定因子載荷，因子旋轉及計因子分析可以分為確定因子載荷，因子旋轉及計算因子得分三個步驟。首要的步驟即為確定因子載算因子得分三個步驟。首要的步驟即為確定因子載荷或是根據樣本數據確定出因子載荷矩陣荷或是根據樣本數據確定出因子載荷矩陣 。有很多。有很多方法可以完成這項工作，如主成分法，主軸因子法，方法可以完成這項工作，如主成分法，主軸因子法，最小二乘法，極大似然法，最小二乘法，極大

19、似然法， 因子提取法等。這些方因子提取法等。這些方法求解因子載荷的出發(fā)點不同，所得的結果也不完法求解因子載荷的出發(fā)點不同，所得的結果也不完全相同。下面我們著重介紹比較常用的主成分法、全相同。下面我們著重介紹比較常用的主成分法、主軸因子法與極大似然法。主軸因子法與極大似然法。A2022-6-1018 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法式中，式中， 為隨機向量為隨機向量 的相關矩陣的特征值所對應的特征向量的的相關矩陣的特征值所對應的特征向量的分量，因為特征向量之間彼此正交，從分量，因為特征向量之間彼此正交，從 到到 的轉換關系是可的轉換關系是可逆的，很容易得出由逆的

20、，很容易得出由 到到 的轉換關系為：的轉換關系為： 用主成分法尋找公因子的方法如下：假定從相關陣出發(fā)求解主用主成分法尋找公因子的方法如下：假定從相關陣出發(fā)求解主成分，設有成分，設有 個變量，則我們可以找出個變量，則我們可以找出 個主成分。將所得的個主成分。將所得的 個主成分按由大到小的順序排列，記為個主成分按由大到小的順序排列，記為 ，則主成分，則主成分與原始變量之間存在如下關系式與原始變量之間存在如下關系式:pppYYY,21pppppppppppXXXYXXXYXXXY22112222121212121111（6.11） ijXXYYX2022-6-1019 目錄 上頁 下頁 返回 結束

21、6.26.2 .1 主成分法主成分法ppppppppppYYYXYYYXYYYX22112222112212211111(6.12)我們對上面每一等式只保留前我們對上面每一等式只保留前 個主成分而把后面的部分用個主成分而把后面的部分用代替，則（代替，則（6.126.12）式變?yōu)椋海┦阶優(yōu)椋簃ipmmppppmmmmYYYXYYYXYYYX2211222221122112211111 (6.13)2022-6-1020 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法 式（式（6.136.13）在形式上已經與因子模型）在形式上已經與因子模型(6.7)(6.7)相一致，且相一致，

22、且 （ ）之間相互獨立，且）之間相互獨立，且 與與 之間相互獨立，為了之間相互獨立，為了 把把 轉化成合適的公因子，現在要做的工作只是把主成分轉化成合適的公因子，現在要做的工作只是把主成分 變變?yōu)榉讲顬闉榉讲顬? 1的變量。為完成此變換，必須將的變量。為完成此變換，必須將 除以其標準差，由除以其標準差，由上一章主成分分析的知識知其標準差即為特征根的平方根上一章主成分分析的知識知其標準差即為特征根的平方根 。于是，令于是，令 ， ，則，則(6.13)(6.13)式變?yōu)椋菏阶優(yōu)椋篿Ymi, 2 , 1iYiiYiYiYiiiiYF/jijijapmpmpppmmmmFaFaFaXFaFaFaXFa

23、FaFaX2211222221212112121111這與因子模型（這與因子模型（6.76.7）完全一致，這樣，就得到了載荷）完全一致，這樣，就得到了載荷 矩陣和矩陣和一組初始公因子（未旋轉）。一組初始公因子（未旋轉）。A2022-6-1021 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法一般設一般設 為樣本相關陣為樣本相關陣 的特征根，的特征根， 為對為對應的標準正交化特征向量。設應的標準正交化特征向量。設 ，則因子載荷矩陣，則因子載荷矩陣 的一的一個解為：個解為：p21Rp,21pm A),(2211mmA(6.14) 共同度的估計為：222212imiiiaaah(

24、6.15) 那么如何確定公因子的數目那么如何確定公因子的數目 呢？一般而言，這取決于問題的呢？一般而言，這取決于問題的研究者本人，當用主成分法進行因子分析時，也可以借鑒確定主研究者本人，當用主成分法進行因子分析時，也可以借鑒確定主成分個數的準則，如所選取的公因子的信息量的和達到總體信息成分個數的準則，如所選取的公因子的信息量的和達到總體信息量的一個合適比例為止。但對這些準則不應生搬硬套，應按具體量的一個合適比例為止。但對這些準則不應生搬硬套，應按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關陣的結構，同時要有利于因子模

25、型的解釋。量相關陣的結構，同時要有利于因子模型的解釋。m2022-6-1022 目錄 上頁 下頁 返回 結束 6.26.2 .2 主軸因子法主軸因子法 主軸因子法也比較簡單，且在實際應用中也比較普遍。用主軸因子法也比較簡單，且在實際應用中也比較普遍。用主軸因子法求解因子載荷矩陣的方法其思路與主成分法有類似主軸因子法求解因子載荷矩陣的方法其思路與主成分法有類似的地方，兩都均是從分析矩陣的結構入手；兩者不同的地方在的地方，兩都均是從分析矩陣的結構入手；兩者不同的地方在于，主成分法是在所有的于，主成分法是在所有的 個主成分能解釋標準化原始變量所個主成分能解釋標準化原始變量所有方差的基礎之上進行分析的

26、，而主軸因子法中，假定有方差的基礎之上進行分析的，而主軸因子法中，假定 個公個公共因子只能解釋原始變量的部分方差，利用公因子方差（或共共因子只能解釋原始變量的部分方差，利用公因子方差（或共同度）來代替相關矩陣主對角線上的元素同度）來代替相關矩陣主對角線上的元素1 1，并以新得到的這，并以新得到的這個矩陣（稱之為調整相關矩陣）為出發(fā)點，對其分別求解特征個矩陣（稱之為調整相關矩陣）為出發(fā)點，對其分別求解特征根與特征向量并得到因子解。根與特征向量并得到因子解。pm 在因子模型（在因子模型（6.76.7）中，不難得到如下關于）中，不難得到如下關于 的相關矩陣的相關矩陣 的關系式：的關系式： XRAAR

27、2022-6-10236.26.2 .2 主軸因子法主軸因子法注意到，上面的分析是以首先得到調整相關矩陣注意到，上面的分析是以首先得到調整相關矩陣 為基礎的，而實為基礎的，而實際上，際上， 與共同度（或相對的，剩余方差）都是未知的，需要我們先與共同度（或相對的，剩余方差）都是未知的，需要我們先進行估計。一般我們先給出一個初始估計，然后估計出載荷矩進行估計。一般我們先給出一個初始估計，然后估計出載荷矩 陣陣 后再給出較好的共同度或剩余方差的估計。初始估計的方法有很多，后再給出較好的共同度或剩余方差的估計。初始估計的方法有很多，可嘗試對原始變量先進行一次主成分分析，給出初始估計值?？蓢L試對原始變量

28、先進行一次主成分分析，給出初始估計值。*R*RA式中，式中， 為因子載荷矩陣，為因子載荷矩陣， 為一對角陣，其對角元素為相應特殊為一對角陣，其對角元素為相應特殊因子的方差。則稱因子的方差。則稱 為調整相關矩陣，顯然為調整相關矩陣，顯然 的主的主對角元素不再是對角元素不再是1 1，而是共同度，而是共同度 。分別求解。分別求解 的特征值與標準的特征值與標準正交特征向量，進而求出因子載荷矩陣正交特征向量，進而求出因子載荷矩陣 。此時，。此時， 有有 個正的個正的特征值。設特征值。設 為為 的特征根，的特征根， 為對應的標為對應的標準正交化特征向量。準正交化特征向量。 ，則因子載荷矩陣，則因子載荷矩陣

29、 的一個主軸因子的一個主軸因子解為：解為：AAARR*R2ihA*R*Rmm*2*1*Rm*2*1*,pm A),(*2*2*1*1*mmA(6.16) A 例例 假定某地固定資產投資率 ，通貨膨脹率 ，失業(yè)率 ，相關系數矩陣為試用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/11 特征根為： 55. 11 85. 02 6 . 03 6 . 0707. 085. 0331. 055. 1629. 06 . 0707. 085. 0331. 055. 1629. 0085. 0883. 055. 1475. 0A707. 0331. 0629. 0707. 03

30、31. 0629. 00883. 0475. 0U548. 0305. 0783. 0548. 0305. 0783. 00814. 0569. 0 可取前兩個因子F1和F2為公共因子，第一公因子F1物價就業(yè)因子，對X的貢獻為1.55。第一公因子F2為投資因子，對X的貢獻為0.85。共同度分別為1，0.706，0.706。211814. 0569. 0FFx3212548. 0305. 0783. 0FFFx3213548. 0305. 0783. 0FFFx 假定某地固定資產投資率 ，通貨膨脹率 ，失業(yè)率 ，相關系數矩陣為試用主因子分析法求因子分析模型。假定用代替初始的 。 。1x2x3x1

31、5/25/15/215/15/15/11)( |max2ijrhiji2ih52, 1,51232221hhh221221111515/25/25/15/25/25/15/15/15/1*R 特征根為： 9123. 010877. 0203 對應的非零特征向量為：261. 0657. 0261. 0657. 0929. 0369. 00877. 0261. 09123. 0657. 00877. 0261. 09123. 0657. 00877. 0929. 09123. 0369. 0077. 0628. 0077. 0628. 0275. 0352. 01211275. 0352. 0FF

32、x2212077. 0625. 0FFx3211077. 0682. 0FFx新的共同度為：18129. 0275.352. 02221oh3966. 0077. 0625. 02222h4710. 0077. 0682. 02223h2022-6-1030 目錄 上頁 下頁 返回 結束 6.26.2 .3 極大似然法極大似然法如果假定公共因子如果假定公共因子 和特殊因子和特殊因子 服從正態(tài)分布，則能夠得到因服從正態(tài)分布，則能夠得到因子載荷和特殊因子方差的極大似然估計。設子載荷和特殊因子方差的極大似然估計。設 為來自為來自正態(tài)總體正態(tài)總體 的隨機樣本，其中的隨機樣本，其中 。從似然函數的理。從

33、似然函數的理論知：論知：FpXXX,21),(NAAnjntrnnpeL11)()(2/12/2/|)2(1),(xxxxxxjj (6.17)它通過它通過 依賴于依賴于 和和 。但。但(6.17)(6.17)并不能唯一確定并不能唯一確定 ，為此，為此，添加如下條件：添加如下條件： AAAA1 (6.18) 這里，這里， 是一個對角陣，用數值極大化的方法可以得到極大似然是一個對角陣，用數值極大化的方法可以得到極大似然估計估計 和和 。極大似然估計。極大似然估計 、 和和 ，將使，將使 為對角陣，為對角陣，且使且使(6.17)(6.17)式達到最大。式達到最大。 AAx AA12022-6-10

34、31 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉 不管用何種方法確定初始因子載荷矩陣不管用何種方法確定初始因子載荷矩陣 ，它們都不是唯一的。，它們都不是唯一的。設設 是初始公共因子，則可以建立如下它們的線性組合是初始公共因子，則可以建立如下它們的線性組合得到新的一組公共因子得到新的一組公共因子 ，使得，使得， ，彼此相，彼此相互獨立同時也能很好地解釋原始變量之間的相關關系。互獨立同時也能很好地解釋原始變量之間的相關關系。AmFFF,2121,mFFF21,mFFFmmFdFdFdF12121111mmFdFdFdF22221212mmmmmmFdFdFdF2211 這樣

35、的線性組合可以找到無數組，由此便引出了因子分析的第這樣的線性組合可以找到無數組，由此便引出了因子分析的第二個步驟二個步驟因子旋轉。建立因子分析模型的目的不僅在于要找因子旋轉。建立因子分析模型的目的不僅在于要找公共因子，更重要的是知道每一個公共因子的意義，以便對實際公共因子，更重要的是知道每一個公共因子的意義，以便對實際問題進行分析。問題進行分析。 百米跑成績 跳遠成績 鉛球成績 跳高成績 400米跑成績 百米跨欄 鐵餅成績 撐桿跳遠成績 標槍成績 1500米跑成績 1X2X3X4X5X6X7X8X9X10X奧運會十項全能運動項目奧運會十項全能運動項目得分數據的因子分析得分數據的因子分析 102

36、. 017. 002. 001. 039. 018. 008. 009. 007. 0124. 034. 018. 013. 017. 044. 021. 011. 0124. 033. 023. 039. 024. 036. 020. 0132. 017. 027. 073. 031. 028. 0134. 046. 036. 052. 040. 0129. 019. 049. 063. 0138. 051. 034. 0142. 035. 0159. 01變量共同度0.6910.217-0.58-0.2060.840.7890.184-0.1930.0920.70.7020.5350.04

37、7-0.1750.80.6740.1340.1390.3960.650.620.551-0.084-0.4190.870.6870.042-0.1610.3450.620.621-0.5210.109-0.2340.720.5380.0870.4110.440.660.434-0.4390.372-0.2350.570.1470.5960.658-0.2790.891F2F3F4F1X2X3X4X5X6X7X8X9X10X 因子載荷矩陣可以看出，除第一因子在所有的變量在公共因子上有較大的正載荷，可以稱為一般運動因子。其他的3個因子不太容易解釋。似乎是跑和投擲的能力對比，似乎是長跑耐力和短跑速度

38、的對比。于是考慮旋轉因子，得下表 變量共同度0.844*0.1360.156-0.1130.840.631*0.1940.515*-0.0060.70.2430.825*0.223-0.1480.810.2390.150.750*0.0760.650.797*0.0750.1020.4680.870.4040.1530.635*-0.170.620.1860.814*0.147-0.0790.72-0.0360.1760.762*0.2170.66-0.0480.735*0.110.1410.570.045-0.0410.1120.934*0.891F2F3F4F1X2X3X4X5X6X7X8

39、X9X10X 通過旋轉，因子有了較為明確的含義。 百米跑， 跳遠和 400米跑，需要爆發(fā)力的項目在 有較大的載荷， 可以稱為短跑速度因子； 鉛球， 鐵餅和 標槍在 上有較大的載荷，可以稱為爆發(fā)性臂力因子； 百米跨欄， 撐桿跳遠， 跳遠和為 跳高在 上有較大的載荷， 爆發(fā)腿力因子； 長跑耐力因子。2X5X1F1F3X7X9X2F6X8X2X4X3F3F4F1X2022-6-1037 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉 因子旋轉分為正交旋轉與斜交旋轉，正交旋轉由初始載荷因子旋轉分為正交旋轉與斜交旋轉，正交旋轉由初始載荷矩陣矩陣 右乘一正交陣而得到。經過正交旋轉而得到

40、的新的公因右乘一正交陣而得到。經過正交旋轉而得到的新的公因子仍然保持彼此獨立的性質。而斜交旋轉則放棄了因子之間彼子仍然保持彼此獨立的性質。而斜交旋轉則放棄了因子之間彼此獨立這個限制，因而可能達到更為簡潔的形式，其實際意義此獨立這個限制，因而可能達到更為簡潔的形式，其實際意義也更容易解釋。也更容易解釋。 A2022-6-1038 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉但不論是正交旋轉還是斜交旋轉，都應當使新的因子載荷系數要但不論是正交旋轉還是斜交旋轉，都應當使新的因子載荷系數要么盡可能地接近于么盡可能地接近于0 0，要么盡可能的遠離，要么盡可能的遠離0 0。因為一個接

41、近于。因為一個接近于0 0的的載荷載荷 表明表明 與與 的相關性很弱；而一個絕對值比較大的載荷的相關性很弱；而一個絕對值比較大的載荷 則表明公因子則表明公因子 在很大程度上解釋了在很大程度上解釋了 的變化。這樣，如果任一的變化。這樣，如果任一原始變量都與某些公共因子存在較強的相關關系，而與另外的公原始變量都與某些公共因子存在較強的相關關系，而與另外的公因子之間幾乎不相關的話，公共因子的實際意義就會比較容易確因子之間幾乎不相關的話，公共因子的實際意義就會比較容易確定。定。ijaiXjFijajFiX 下面介紹正交旋轉中的方差最大化正交旋轉，該方法由下面介紹正交旋轉中的方差最大化正交旋轉，該方法由

42、H.KH.K凱凱澤澤(H.F.Kaiser)(H.F.Kaiser)首先提出，是應用最為普遍的正交旋轉方法。方首先提出，是應用最為普遍的正交旋轉方法。方差最大化正交旋轉方法的提出以下面的假設為前提：公因子差最大化正交旋轉方法的提出以下面的假設為前提：公因子 的的解釋能力能夠以其因子載荷平方的方差，即解釋能力能夠以其因子載荷平方的方差，即 的方差來的方差來度量。我們先考慮兩個因子的平面正交旋轉，設因子載荷矩陣為度量。我們先考慮兩個因子的平面正交旋轉，設因子載荷矩陣為: :jF22221,pjjjaaa2022-6-1039 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉212

43、2211211ppaaaaaaA令 cossinsincos則則 為正交陣為正交陣, , 記 AB cossinsincoscossinsincoscossinsincos21212212222112111211ppppaaaaaaaaaaaa2122211211ppbbbbbb (6.19) 經過如上變換，希望所得結果能使載荷矩陣的每一列元素的絕經過如上變換，希望所得結果能使載荷矩陣的每一列元素的絕對值向對值向1 1和和0 0兩極分化，或者說使因子的貢獻兩極分化，或者說使因子的貢獻 盡量分散。這實際盡量分散。這實際上就是希望把變量上就是希望把變量 分成兩部分，一部分主要與第一因子分成兩部分，

44、一部分主要與第一因子有關，另一部分主要與第二因子有關，這也就要求有關，另一部分主要與第二因子有關，這也就要求 ， 這兩組數據的方差要盡可能地大。分別考慮兩列的相這兩組數據的方差要盡可能地大。分別考慮兩列的相對方差對方差2igpXXX,21),(21221211pbbb),(22222212pbbbpipiiiiihbphbpV11222222)1()(1piiipiiihbhbpp122212222)()(12 , 1 （6.20）2022-6-1040 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉2022-6-1041 目錄 上頁 下頁 返回 結束 6.26.2 .4

45、因子旋轉因子旋轉2212jjjjhaav 這里取這里取 是為了消除是為了消除 符號不同的影響，除以符號不同的影響，除以 是為了消除各個是為了消除各個變量對公共因子依賴程度不同的影響，現在要求總的方差達到變量對公共因子依賴程度不同的影響，現在要求總的方差達到最大，即要求使最大，即要求使2ibib2ih21VVG達到最大值，考慮達到最大值，考慮 對對 的導數，利用的導數，利用(6.19)(6.19)，（，（6.206.20）式，）式，經過計算知要使經過計算知要使G0ddG須滿足：須滿足： pBACpABDtg/ )(/2422（6.21） 其中： pjjuA1pjjvB1pjjjvuC122)(p

46、jjjvuD122221)()(jjjjjhahau而 2022-6-1042 目錄 上頁 下頁 返回 結束 6.26.2 .5 因子得分因子得分 當因子模型建立起來之后，我們往往需要反過來考察每一當因子模型建立起來之后，我們往往需要反過來考察每一個樣品的性質及樣品之間的相互關系。這就需要進行因子分個樣品的性質及樣品之間的相互關系。這就需要進行因子分析的第三步驟的分析，即因子得分。顧名思義，因子得分就析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子是公共因子 在每一個樣品點上的得分。這需要我們在每一個樣品點上的得分。這需要我們給出公共因子用原始變量表示的線性表達式，這樣的表達式給

47、出公共因子用原始變量表示的線性表達式，這樣的表達式一旦能夠得到，就可以很方便的把原始變量的取值代入到表一旦能夠得到，就可以很方便的把原始變量的取值代入到表達式中求出各因子的得分值。達式中求出各因子的得分值。mFFF,212022-6-1043 目錄 上頁 下頁 返回 結束 6.26.2 .5 因子得分因子得分 在上一章的分析中我們曾給出了主成分得分的概念，其意義和在上一章的分析中我們曾給出了主成分得分的概念，其意義和作用與因子得分相似。但是在此處公因子用原始變量線性表示的作用與因子得分相似。但是在此處公因子用原始變量線性表示的關系式并不易得到。在主成分分析中，主成分是原始變量的線性關系式并不易

48、得到。在主成分分析中，主成分是原始變量的線性組合，當取組合，當取 個主成分時，主成分與原始變量之間的變換關系是可個主成分時，主成分與原始變量之間的變換關系是可逆的，只要知道了原始變量用主成分線性表示的表達式，就可以逆的，只要知道了原始變量用主成分線性表示的表達式，就可以方便的得到用原始變量表示主成分的表達式；而在因子模型中，方便的得到用原始變量表示主成分的表達式；而在因子模型中，公共因子的個數少于原始變量的個數，且公共因子是不可觀測的公共因子的個數少于原始變量的個數，且公共因子是不可觀測的隱變量，載荷矩陣隱變量，載荷矩陣 不可逆，因而不能直接求得公因子用原始變量不可逆，因而不能直接求得公因子用

49、原始變量表示的精確線性組合。一個解決該問題的方法是用回歸的思想求表示的精確線性組合。一個解決該問題的方法是用回歸的思想求出線性組合系數的估計值，即建立如下以公因子為因變量，原始出線性組合系數的估計值，即建立如下以公因子為因變量，原始變量為自變量的回歸方程：變量為自變量的回歸方程：pApjpjjjXXXF2211), 2 , 1(mj （6.22）2022-6-1044 目錄 上頁 下頁 返回 結束 6.26.2 .5 因子得分因子得分 此處因為原始變量與公因子變量均為標準化變量，因此回此處因為原始變量與公因子變量均為標準化變量，因此回歸模型中不存在常數項。在最小二乘意義下，可以得到歸模型中不存

50、在常數項。在最小二乘意義下，可以得到 的的估計值：估計值：FXRAF1（6.23） 式中，為因子載荷矩陣，為原始變量的相關陣，式中，為因子載荷矩陣，為原始變量的相關陣， 為原始變量向為原始變量向量。量。 在估計出公因子得分后，可以利用因子得分進行進一步的在估計出公因子得分后，可以利用因子得分進行進一步的分析，如樣本點之間的比較分析，對樣本點的聚類分析等，當分析，如樣本點之間的比較分析，對樣本點的聚類分析等，當因子數因子數m 較少時，還可以方便地把各樣本點在圖上表示出來，較少時，還可以方便地把各樣本點在圖上表示出來，直觀地描述樣本的分布情況，從而便于把研究工作引向深入。直觀地描述樣本的分布情況，

51、從而便于把研究工作引向深入。ARX2022-6-1045 目錄 上頁 下頁 返回 結束 6.26.2 .6主成分分析與因子分析的區(qū)別主成分分析與因子分析的區(qū)別 1 1、因子分析把展示在我們面前的諸多變量看成由對每一個變量、因子分析把展示在我們面前的諸多變量看成由對每一個變量都有作用的一些公共因子和一些僅對某一個變量有作用的特殊因都有作用的一些公共因子和一些僅對某一個變量有作用的特殊因子線性組合而成。因此，我們的目的就是要從數據中探查能對變子線性組合而成。因此，我們的目的就是要從數據中探查能對變量起解釋作用的公共因子和特殊特殊因子，以及公共因子和特殊量起解釋作用的公共因子和特殊特殊因子，以及公共

52、因子和特殊因子組合系數。主成分分析則簡單一些，它只是從空間生成的角因子組合系數。主成分分析則簡單一些，它只是從空間生成的角度尋找能解釋諸多變量變異絕大部分的幾組彼此不相關的新變量度尋找能解釋諸多變量變異絕大部分的幾組彼此不相關的新變量（主成分）。（主成分）。2 2、因子分析中是把變量表示成各因子的線性組合，而主成分分、因子分析中是把變量表示成各因子的線性組合，而主成分分析中則是把主成分表示成各變量的線性組合。析中則是把主成分表示成各變量的線性組合。 3 3、主成分分析中不需要有假設，因子分析則需要一些假設。因、主成分分析中不需要有假設，因子分析則需要一些假設。因子分析的假設包括：各個公共因子之

53、間不相關，特殊因子子分析的假設包括：各個公共因子之間不相關，特殊因子（specific factorspecific factor）之間也不相關，公共因子和特殊因子之間）之間也不相關，公共因子和特殊因子之間也不相關。也不相關。 2022-6-1046 目錄 上頁 下頁 返回 結束 6.26.2 .6主成分分析與因子分析的區(qū)別主成分分析與因子分析的區(qū)別 4 4、抽取主因子的方法不僅僅有主成分法，還有極大似然法等，、抽取主因子的方法不僅僅有主成分法，還有極大似然法等，基于這些不同算法得到的結果一般也不同。而主成分只能用主基于這些不同算法得到的結果一般也不同。而主成分只能用主成分法抽取。成分法抽取。

54、5 5、主成分分析中，當給定的協(xié)方差矩陣或者相關矩陣的特征、主成分分析中，當給定的協(xié)方差矩陣或者相關矩陣的特征值是唯一的時候，主成分一般是固定的；而因子分析中因子不值是唯一的時候，主成分一般是固定的；而因子分析中因子不是固定的，可以旋轉得到不同的因子。是固定的，可以旋轉得到不同的因子。 6 6、在因子分析中，因子個數需要分析者指定（、在因子分析中，因子個數需要分析者指定（spssspss根據一定根據一定的條件自動設定，只要是特征值大于的條件自動設定，只要是特征值大于1 1的因子進入分析），指的因子進入分析），指定的因子數量不同而結果不同。在主成分分析中，成分的數定的因子數量不同而結果不同。在主

55、成分分析中，成分的數量是一定的，一般有幾個變量就有幾個主成分。量是一定的，一般有幾個變量就有幾個主成分。 2022-6-1047 目錄 上頁 下頁 返回 結束 6.26.2 .6主成分分析與因子分析的區(qū)別主成分分析與因子分析的區(qū)別 7 7、和主成分分析相比，由于因子分析可以使用旋轉技術幫助、和主成分分析相比，由于因子分析可以使用旋轉技術幫助解釋因子，在解釋方面更加有優(yōu)勢。而如果想把現有的變量變解釋因子，在解釋方面更加有優(yōu)勢。而如果想把現有的變量變成少數幾個新的變量（新的變量幾乎帶有原來所有變量的信息）成少數幾個新的變量（新的變量幾乎帶有原來所有變量的信息）來進入后續(xù)的分析，則可以使用主成分分析

56、。當然，這中情況來進入后續(xù)的分析，則可以使用主成分分析。當然，這中情況也可以使用因子得分做到。所以這種區(qū)分不是絕對的。也可以使用因子得分做到。所以這種區(qū)分不是絕對的。2022-6-1048 目錄 上頁 下頁 返回 結束 6.3 6.3 因子分析的步驟與邏輯框圖因子分析的步驟與邏輯框圖6.3.1 6.3.1 因子分析的步驟因子分析的步驟6.3.2 6.3.2 因子分析的邏輯框圖因子分析的邏輯框圖2022-6-1049 目錄 上頁 下頁 返回 結束 6.3 6.3 因子分析的步驟與邏輯框圖因子分析的步驟與邏輯框圖 上面我們介紹了因子分析的基本思想及基本的理論上面我們介紹了因子分析的基本思想及基本的

57、理論方法，下面我們把因子分析的步驟及邏輯框圖總結如方法，下面我們把因子分析的步驟及邏輯框圖總結如下，以幫助讀者能更加清楚因子分析各步之間的脈絡下，以幫助讀者能更加清楚因子分析各步之間的脈絡關系及更好的運用因子分析方法解決實際問題。關系及更好的運用因子分析方法解決實際問題。2022-6-1050 目錄 上頁 下頁 返回 結束 6.3.1 6.3.1 因子分析的步驟因子分析的步驟進行因子分析應包括如下幾步：進行因子分析應包括如下幾步：1.1.根據研究問題選取原始變量；根據研究問題選取原始變量；2.2.對原始變量進行標準化并求其相關陣，分析變量之間的相對原始變量進行標準化并求其相關陣，分析變量之間的

58、相關性；關性；3.3.求解初始公共因子及因子載荷矩陣；求解初始公共因子及因子載荷矩陣；4.4.因子旋轉；因子旋轉；5.5.因子得分；因子得分；6.6.根據因子得分值進行進一步分析。根據因子得分值進行進一步分析。2022-6-1051 目錄 上頁 下頁 返回 結束 6.3.2 6.3.2 因子分析的邏輯框圖因子分析的邏輯框圖 圖圖6-16-12022-6-1052 目錄 上頁 下頁 返回 結束 6.4 6.4 因子分析的上機實現因子分析的上機實現 在上一章中在上一章中 ，我們用，我們用SPSS的的Factor Analysis模塊實現了主成模塊實現了主成分分析，實際上，分分析，實際上，Facto

59、r Analysis主要是主要是SPSS軟件進行因子分軟件進行因子分析的模塊，由于主成分分析與因子分析（特別是因子分析中的析的模塊，由于主成分分析與因子分析（特別是因子分析中的主成分法）之間有密切的關系，主成分法）之間有密切的關系，SPSS軟件將這兩種分析方法放軟件將這兩種分析方法放到同一分析模塊到同一分析模塊 中。中。 下面我們先用下面我們先用SPSS軟件自帶的數據說明軟件自帶的數據說明Factor Analysis模塊進模塊進行因子分析的方法，然后給出一個具體案例。為了與主成分分行因子分析的方法，然后給出一個具體案例。為了與主成分分析進行比較，我們此處仍延用析進行比較，我們此處仍延用SPS

60、S自帶的自帶的Employee data.sav數數據集據集 。【例例6.1】 數據集數據集Employee data.sav中各變量解釋說明見上中各變量解釋說明見上一章主成分分析，用一章主成分分析，用Factor Analysis模塊模塊 進行因子分析。進行因子分析。2022-6-1053 目錄 上頁 下頁 返回 結束 輸出結果輸出結果6-16-1（1 1）（2 2）2022-6-1054 目錄 上頁 下頁 返回 結束 輸出結果輸出結果6-16-1(3)(3)(4)(4)3fac)02857. 2(2fac104. 01fac940. 0E標準化的標準化的salary salary 2022