會計(jì)實(shí)證研究方法第04章數(shù)據(jù)預(yù)處理和描述性分析

1、第四章 數(shù)據(jù)預(yù)處理和描述性分析 本章內(nèi)容第一節(jié) 異常值和缺失值的處理第二節(jié) 信度與效度分析第三節(jié) 描述性分析第一節(jié) 異常值和缺失值的處理 一、異常值的檢驗(yàn)和處理 （一）異常值的檢驗(yàn) 一批數(shù)據(jù)中，有部分?jǐn)?shù)據(jù)與其他數(shù)據(jù)相比明顯不一致的稱為異常值，或稱離群值。如果數(shù)據(jù)中混進(jìn)了異常值，就會使相應(yīng)分析誤差增大。因此，在利用數(shù)據(jù)進(jìn)行分析之前，有必要對異常數(shù)據(jù)進(jìn)行檢驗(yàn)并做相應(yīng)處理，以便于發(fā)現(xiàn)具有普遍性的規(guī)律。 SPSS中Explore過程主要用于對資料的性質(zhì)、分布特點(diǎn)等完全不清楚時的一種檢驗(yàn)，故又稱之為探索性分析，對于異常值的檢驗(yàn)具有很好的作用。1、探究分析的作用 （1）考察數(shù)據(jù)的奇異性。過大或過小的數(shù)據(jù)均

2、有可能是異常值、影響點(diǎn)或是錯誤輸入的數(shù)據(jù)。對于這樣的數(shù)據(jù)第一要找出，第二要分析原因，第三要決定是否對這些數(shù)據(jù)進(jìn)行處理。 （2）檢查數(shù)據(jù)分布特征。許多分析方法對數(shù)據(jù)的分布有一定要求，例如要求樣本來自正態(tài)分布總體，從實(shí)驗(yàn)或?qū)嶋H測量得到的數(shù)據(jù)是否符合正態(tài)分布的規(guī)律，決定了它們是否可以選用只對正態(tài)分布數(shù)據(jù)適用的分析方法。 （3）考查方差齊性。另外對若干組數(shù)據(jù)均值差異性的分析需要根據(jù)其方差是否相等，選擇進(jìn)行檢驗(yàn)的計(jì)算公式。2、探索分析提供的考查方法（1）箱圖：是對任何分布的數(shù)據(jù)的整體描述。其中： 矩陣框是箱圖的主體，上中下三條線分別表示變量的第75、50、25百分位數(shù)。 中間的縱向直線稱觸須線，上截止截

3、線是變量值本體最大值，下截止截線是變量值本體最小值。除異常值和極值以外的變量值成為本體值。 異常值所使用的標(biāo)記為“0” 。 極值所使用標(biāo)記為“*”。 （2）莖葉圖：能直觀地描述數(shù)據(jù)的頻數(shù)分布。莖葉圖自左至右分為三大部分：頻數(shù)、莖、葉。莖表示數(shù)值的整數(shù)部分，葉表示數(shù)值的小數(shù)部分。每行的莖和每個葉組成的數(shù)字相加再乘以莖寬，即莖葉所表示實(shí)際數(shù)據(jù)的近似值。 （3）正態(tài)性檢驗(yàn)：除偏度、峰度統(tǒng)計(jì)量外，SPSS還提供以下兩種方法進(jìn)行正態(tài)性檢驗(yàn)： 常用的觀測量數(shù)據(jù)的正態(tài)分布檢驗(yàn)的方法是Q-Q圖，后面的章節(jié)會加以介紹。 Lillifors統(tǒng)計(jì)量檢驗(yàn)法可以在方差與均值未知的情況下直接使用，它是對Kolmogoro

4、v-Smirnov統(tǒng)計(jì)量的修正。（4）方差齊性檢驗(yàn) 在進(jìn)行均值多組間比較時，要求各組的方差相同，所以要進(jìn)行方差齊性檢驗(yàn)，例如常用的方差分析就要求分組樣本的數(shù)據(jù)來自方差相同的正態(tài)總體。另外，在進(jìn)行獨(dú)立樣本T檢驗(yàn)之前也要事先進(jìn)行方差齊性檢驗(yàn)。具體內(nèi)容請見第六章。3、探索分析過程在SPSS中的實(shí)現(xiàn) （1）建立或打開了數(shù)據(jù)文件后，按從“Analyze” “Descriptive Statistics”“Explore”，進(jìn)入Explore對話框。見圖4-1所示。 圖4-1 數(shù)據(jù)探索對話框 （2）從源變量中，選擇若干個數(shù)值型變量作為因變量送入Dependent框中。 （3）指定分組變量。在源變量框中選擇

5、一個或多個分組變量進(jìn)入Factor框中。 （4）選擇標(biāo)識變量。在源變量表中指定一個變量作為觀測量的標(biāo)識變量，送入Label Cases by框中。 （5）Display欄，確定輸出項(xiàng)。其中：Both選項(xiàng)表示輸出圖形以及描述統(tǒng)計(jì)量，Statistics選項(xiàng)表示只輸出描述統(tǒng)計(jì)量。Plots選項(xiàng)表示只輸出圖形。（6）單擊Statistics按鈕，打開如圖4-2所示的對話框，選擇描述統(tǒng)計(jì)量。其中：圖4-2 選擇描述性統(tǒng)計(jì)量的對話框 Descriptive復(fù)選項(xiàng)，要求輸出基本描述統(tǒng)計(jì)量，包括平均數(shù)、中位數(shù)、眾數(shù)、5%的調(diào)整平均值、標(biāo)準(zhǔn)誤、方差、標(biāo)準(zhǔn)差、最大值、最小值、范圍、等距四分位數(shù)、峰度與偏度、峰度

6、與偏度的標(biāo)準(zhǔn)誤。在Confidence intervals for mean框中設(shè)置均值的置信區(qū)間。 M-estimators復(fù)選項(xiàng)，要求輸入集中趨勢最大似然比的穩(wěn)健估計(jì)。 Outliers復(fù)選項(xiàng)，要求輸出5個最大值與最小值，在輸出窗口中它們被標(biāo)明為極端值。 Percentiles復(fù)選項(xiàng)，要求輸出第5、10、25、50、75、90以及95百分位數(shù)。 （7）展開Plots對話框，見圖4-3所示，選擇統(tǒng)計(jì)圖形及其參數(shù)。圖4-3 統(tǒng)計(jì)圖對話框 Boxplots單選項(xiàng)組：確定箱式圖的繪制方式，可以是按組別分組繪制(Factor levels together)，也可以不分組一起繪制(Depentend

7、s together)，或者不繪制(None)。 Descriptive復(fù)選項(xiàng)組：可以選擇繪制莖葉圖(Stem-and-leaf)和直方圖(Histogram)。 Normality plots with test選項(xiàng)：繪制正態(tài)分布圖并進(jìn)行變量是否符合正態(tài)分布的檢驗(yàn)。 Spread vs. Level with Levene Test單選項(xiàng)組：當(dāng)選擇了分組變量時，對所有的散布/層次圖來說，同時輸出回歸直線斜率以及方差齊性的Levenes檢驗(yàn)結(jié)果。如果選擇了Transformed轉(zhuǎn)換選項(xiàng)，將依據(jù)轉(zhuǎn)換后的數(shù)據(jù)計(jì)算。（8）單擊Options按鈕，彈出如圖4-4所示的對話框 圖4-4 選擇對話框圖4-

8、4中： Exclude cases listwise表示分析過程中，剔除帶有缺失值的觀測量； Exclude cases pairwise表示分析過程中，成對剔除有缺失值的觀測量； Report values表示分組變量中的缺失值將被單獨(dú)分為一組。輸出頻數(shù)表時也包括缺失組。（二）異常值的處理 1、刪除法。如果樣本充分大，刪除異常值后對整個結(jié)論沒有影響，這種方法不失為一種簡單可行的方法。但如果樣本數(shù)量本身有限，刪除異常值后，樣本本身的代表性值得懷疑，也就會影響研究結(jié)論。 2、替代法，就是用正常數(shù)據(jù)區(qū)間的端點(diǎn)來替代異常數(shù)據(jù)。如果某項(xiàng)數(shù)據(jù)服從正態(tài)分布，運(yùn)用“拉依達(dá)準(zhǔn)則（3準(zhǔn)則）”來進(jìn)行異常值的檢驗(yàn)；

9、如果某項(xiàng)指標(biāo)不符合正態(tài)分布，就用 “五數(shù)概括法”來進(jìn)行異常值的檢驗(yàn)。二、缺失值的分類和處理 （一）缺失值的分類 缺失值是指現(xiàn)有數(shù)據(jù)集中某個或某些屬性的值是不完全的。缺失值分為幾下幾種： 1、從缺失的原因來講分為機(jī)械原因和人為原因。 2、從缺失的分布來講可以分為完全隨機(jī)缺失（MCAR） ，隨機(jī)缺失(MAR)和系統(tǒng)缺失（systematic missing） 。 （二）缺失值的處理 1、刪除法 當(dāng)采集到的數(shù)據(jù)量很大時，可以將數(shù)據(jù)缺失的樣本刪除。刪除法又分為表列刪除法和配對刪除法。 （1）表列刪除法，是將數(shù)據(jù)缺失的受訪者的所有資料全部刪除的方法，不管受訪者缺失數(shù)據(jù)的數(shù)量，只要一項(xiàng)遺漏，則該受訪者全部

10、資料均被刪除，以保證進(jìn)行運(yùn)行的所有受訪者數(shù)據(jù)都是完整的。這種方法只有當(dāng)觀測的樣本數(shù)據(jù)量足夠或數(shù)據(jù)缺失時，不會因刪除導(dǎo)致參數(shù)的有效估計(jì)時，才可采用。 （2）配對刪除法，是只在需要用缺失或遺漏值進(jìn)行分析時，才被刪除，其他信息仍然被使用的方法。 配對刪除法相對于表列刪除法，觀測樣本數(shù)量不會因刪除而減少過多，同時信息利用較為充分。但同時也帶來以下方面的問題：一是不一致性；二是假設(shè)檢驗(yàn)產(chǎn)生問題；三是導(dǎo)致產(chǎn)生系統(tǒng)性偏差； 四是導(dǎo)致以 統(tǒng)計(jì)量為基礎(chǔ)的各種指數(shù)產(chǎn)生偏差； 五是必須假定所有缺失都是MCAR類型。 2.替代法 替代法是設(shè)法為缺失值尋找合適的替代值，將其插補(bǔ)到缺失值的位置，而進(jìn)行計(jì)算的方法，它的思想

11、來源是以最可能的值來插補(bǔ)缺失值比全部刪除不完全樣本所產(chǎn)生的信息丟失要少。 （1）平均數(shù)替代：平均數(shù)替代是以變量中有效值的平均數(shù)替代缺失值的方法。 （2）回歸估計(jì)替代：回歸估計(jì)替代是用回歸模型的估計(jì)值替代缺失值的方法。 （3）Cold deck替代：Cold deck替代不是利用獲取的數(shù)據(jù)本身，而是利用外在資源或以往研究結(jié)果作為缺失值的替代值。 （4）個例替代：是通過尋找樣本以外、與其類似的觀察案例，以其取值替代缺失值的方法。 （5）多元替代：將幾種方法組合，如取幾種替代值的平均值替代缺失，這就是多元替代。 （6）形態(tài)匹配替代：是在已經(jīng)采集的數(shù)據(jù)中，尋找與缺失值類似的另一例，即相匹配的個例，以其

12、取值作為替代值的方法。第二節(jié) 信度與效度分析一、信度分析（一）信度的定義 信度（reliability）是指測量結(jié)果具有一致性或穩(wěn)定性的程度，對于同一個人在不同時間，以相同的測量工具進(jìn)行測量，如果兩次測量結(jié)果一致，表明測量結(jié)果具有穩(wěn)定性、可靠性。一致性越高，信度越高。一致性的程度也是相對的，誤差越小，信度越高。信度主要檢測所收集數(shù)據(jù)的可靠性。（二）信度的衡量方法測量中通常有兩類誤差發(fā)生，即系統(tǒng)誤差和隨機(jī)誤差。測量的結(jié)果可以表示為： 信度可以定義為 這時，信度表示成一種變差的比例，即相關(guān)系數(shù)的平方，或如式 信度度量的具體方法有： 1、再測信度，采用同一個問卷在同一人群中先后測量兩次，評價兩次測量

13、的相關(guān)性。 2、復(fù)本信度，是在一個測量中采用兩個或兩個以上的復(fù)本來對同一群研究對象進(jìn)行測量時所得到的結(jié)果的一致性程度。 3、折半信度，是指只用一個測量工具對同一組受試者實(shí)施一次測量，但將奇數(shù)題和偶數(shù)題分開計(jì)分，再計(jì)算奇數(shù)題和偶數(shù)題分?jǐn)?shù)之間的相關(guān)系數(shù)。 4、內(nèi)部一致性信度，問卷對每個概念的測量往往都要用一系列的條目，因而根據(jù)這些條目之間的相關(guān)性可以評價信度。 5、評分者信度，是由調(diào)查者給被測者打分或評定等級，則這種測量的可靠性主要取決于調(diào)查者評分的一致性和穩(wěn)定性。（三）信度度量方法在SPSS軟件中的實(shí)現(xiàn)表4-6信度測量調(diào)用過程表測量方法調(diào)用過程分析結(jié)果再測信度AnalyzeScaleReliab

14、ility StatisticsIntraclass correlation co-efficient選項(xiàng)內(nèi)部相關(guān)ICC系數(shù)(測量變量為連續(xù)變量和等級變量)AnalyzeDescriptive statistics CrosstabsKappa選項(xiàng)Kappa系數(shù)(測量變量為分類變量)復(fù)本信度AnalyzeCorrelationbivariate根據(jù)需要可選擇Pearson、Kendalls tau-b和Spearman選項(xiàng)Spearson相關(guān)系數(shù)、Kendall等級相關(guān)系數(shù)和Spearman等級相關(guān)系數(shù)續(xù)表4-6信度測量調(diào)用過程表測量方法調(diào)用過程分析結(jié)果折半信度Analyze Scale Re

15、liabilityModel中Split-half選項(xiàng)Spearman-Brown系數(shù)、Guttman Split-Half系數(shù)內(nèi)部一致性信度Analyze Scale Reliabilitymodel 中Alpha選項(xiàng)Cronbachs Alpha系數(shù)評分者信度Analyze Scale ReliabilityStatistics中Friedman chi-square選項(xiàng)Kendall和諧系數(shù)Analyze Correlation bivariate根據(jù)需要可選擇Pearson、Kendalls tau-b和Spearman選項(xiàng)Spearson相關(guān)系數(shù)、Kendall等級相關(guān)系數(shù)、Spea

16、rman等級相關(guān)系數(shù)二、效度分析（一）效度的定義 效度（validity）是指測量工具能夠正確測量出所要測量問題的程度。效度越高表示測量結(jié)果越能顯示出所要測量對象的真正特征。 信度與效度的關(guān)系為：信度僅考慮測量結(jié)果是否一致，不涉及結(jié)果是否正確；效度是針對測量目的，考察測量的有效程度。測量結(jié)果要有效是前提，在有效的前提下再考慮測量的精確性，因?yàn)榭尚挪灰欢ㄓ行?。（二）效度衡量的具體方法 效度表示測量工具能夠測出其所要測量的特征的正確性，通常采用效度系數(shù)來衡量。效度系數(shù)一般規(guī)定為與測量目標(biāo)值的方差在總測量值方差中所占的比例，即效度系數(shù)為：其中 ， 是想要測量的目標(biāo)值，則是與測量目的不相關(guān)的系統(tǒng)性偏差

17、。效度度量的具體方法 1、表面效度，是指測量結(jié)果與人們頭腦中的印象或?qū)W術(shù)界形成的共識的吻合程度，如果吻合度高，則表面效度高。 2、內(nèi)容效度，是指測量內(nèi)容的適合性和相符性，即測量所選題目是否符合測量目的和要求。 3、效標(biāo)效度，是指測量結(jié)果與一些能夠精確表示被測概念的標(biāo)準(zhǔn)之間的一致性程度。 4、結(jié)構(gòu)效度，指問卷所能衡量到理論上期望的特征的程度，即問卷所要測量的概念能顯示出科學(xué)的意義并符合理論上的設(shè)想。 （三）效度測量在SPSS軟件中的實(shí)現(xiàn) 在SPSS統(tǒng)計(jì)分析軟件中沒有專門的效度分析模塊，表面效度和內(nèi)容效度屬于主觀指標(biāo)，一般采取專家評價法。效標(biāo)效度和結(jié)構(gòu)效度可以通過Analyze菜單進(jìn)行分析，其調(diào)用

18、過程見表4-7所示。 表4-7 效度測量調(diào)用過程表測量方法調(diào)用過程分析結(jié)果效標(biāo)效度Analyze Correlation bivariate根據(jù)需要可選擇Pearson、Kendalls tau-b和Spearman選項(xiàng)Spearson 相關(guān)系數(shù)(測量變量為連續(xù)變量)、Kendall或Spearman等級相關(guān)系數(shù)(測量變量為分類變量)結(jié)構(gòu)效度Analyze Data Reduction Factor(一般在Extraction和Rota-tion選項(xiàng)下選擇Principal components和Varimax進(jìn)行主成分極大方差旋轉(zhuǎn)因子分析法)公共因子的累積方差貢獻(xiàn)率、公因子方差值、每個條目公

19、共因子負(fù)荷值等第三節(jié) 描述性分析一、描述性分析概述 （一）描述性分析的作用 描述性分析的目的通常不是對研究假設(shè)的檢驗(yàn)，而是為了說明樣本選擇的適當(dāng)性，因此人們常常稱之為有效性測試。有效性測試通常包括檢驗(yàn)樣本數(shù)據(jù)的代表性、對照數(shù)據(jù)的匹配性以及樣本數(shù)據(jù)結(jié)構(gòu)與理論推測的一致性。在某些研究中，作者也借助于描述性統(tǒng)計(jì)對預(yù)期結(jié)果作一些輔助性觀察，作為對預(yù)期假設(shè)支持或否定的部分證據(jù)。有時，描述性統(tǒng)計(jì)也為調(diào)整樣本數(shù)據(jù)分布提供依據(jù)。 （二）基本描述統(tǒng)計(jì)量 1、頻數(shù)、百分比 計(jì)算變量的頻數(shù)和百分比就是計(jì)算變量在某個變量值上取值的個案數(shù)，以及占總個案數(shù)的比例。 2、集中趨勢 集中趨勢是對頻數(shù)分布資料的集中狀況和平均水

20、平的綜合測度。包括算術(shù)平均數(shù)，眾數(shù)和中位數(shù)。 3、離散程度 離散程度是對頻數(shù)分布的差異程度的度量，用來衡量集中趨勢數(shù)值的代表性，或者反映變量值的穩(wěn)定性和均衡性。包括標(biāo)準(zhǔn)差，分位值等等。 4、分布 分布是說明數(shù)據(jù)分布與標(biāo)準(zhǔn)正態(tài)分布的吻合程度。包括峰度和偏度。 5、統(tǒng)計(jì)圖形 統(tǒng)計(jì)圖是一種最為直接的數(shù)據(jù)刻畫方式，它無疑能夠非常清晰直觀地展示變量的取值狀況。常用的圖形有：條形圖、直方圖等。 二、頻數(shù)分布表分析（一）概述 頻數(shù)分布表是描述性統(tǒng)計(jì)中最常用的方法之一，F(xiàn)requencies 過程就是專門為產(chǎn)生頻數(shù)表而設(shè)計(jì)的。它不僅可以產(chǎn)生詳細(xì)的頻數(shù)表，還可以按要求給出某百分位點(diǎn)的數(shù)值，以及常用的條圖、圓圖等

21、統(tǒng)計(jì)圖。對于頻率報(bào)告和條形圖，可以用升序或降序排列不同的值，也可以按其頻率對類別進(jìn)行排序。當(dāng)變量具有許多不相同的值時，可提取頻率報(bào)告。（二）頻數(shù)分布分析過程在SPSS中的實(shí)現(xiàn)1、建立或打開了數(shù)據(jù)文件后，按Analyze Descriptive StatisticsFrequencies，打開如圖4-8所示的對話框。圖4-8 頻數(shù)分布主對話框 2、在源變量框中選擇一個或多個變量，送入Variable(s)框中。 3、選中Display frequency tables，要求輸出頻數(shù)分布表。 4、單擊Statistics按鈕，打開相應(yīng)對話框，見圖4-9所示。圖4-9 輸出統(tǒng)計(jì)量對話框（1）Perc

22、entile Values欄，指定百分位數(shù)。 Quartiles復(fù)選項(xiàng)，輸出四分位數(shù)。 Cut points for equal groups復(fù)選項(xiàng)，輸出等分點(diǎn)的百分位數(shù)。 Percentile(s)復(fù)選項(xiàng)，自定義百分位數(shù)。 （2）Central Tendency欄，指定集中趨勢統(tǒng)計(jì)量。包括Mean(均值)、Median(中位數(shù))、Mode（眾數(shù)）和Sun(所有值的總和)。如果中位數(shù)與眾數(shù)相差很大，說明觀測量中存在異常值。 （3）Dispersion欄，離散程度統(tǒng)計(jì)量欄。包括Std.Deviation(標(biāo)準(zhǔn)差)、Variance（方差）、Range（全距）、Minimum（最小值）、Maxim

23、um（最大值）和S.E.mean（均值標(biāo)準(zhǔn)誤）。 （4）Distribution欄，檢查數(shù)據(jù)的正態(tài)性。包括Skewness（偏度）和Kurtosis（峰度）。 （5）Values are group midpoints項(xiàng)，在接受百分位數(shù)值和中位數(shù)時，假設(shè)數(shù)據(jù)已經(jīng)分組，用各組的組中值代表各組數(shù)據(jù)。 5、單擊Charts按鈕，展開Frequencies: Charts對話框，見圖4-10。圖4-10 圖形參數(shù)選擇對話框 （1）Chart Type欄，選擇圖形類型。 None，不選擇作圖； Bar charts,輸出條形圖。適用于分類變量。 Pie charts,輸出餅圖。適用于分類變量。 Histogram，輸出直方圖。適用于連續(xù)的數(shù)值型變量。 （2）Chart Value欄，在選擇了條形圖和餅圖后生效。 Frequencies，條形圖縱軸表示頻數(shù)，餅圖的每塊表示屬于該組的觀測量頻數(shù)。 Percentages, 條形圖縱軸表示百分比，餅圖的每塊表示該組觀測量數(shù)占總數(shù)的百分比。 6、單擊Format按鈕，打開如圖4-11所示的對話框。在對話框中設(shè)置頻數(shù)表輸出格式圖4-11 頻數(shù)分布表格式對話框 （1）Order by欄，設(shè)置頻數(shù)表順序，在選擇了Display