問(wèn)卷調(diào)查中數(shù)據(jù)質(zhì)量的管控

問(wèn)卷調(diào)查中數(shù)據(jù)質(zhì)量的管控 問(wèn)卷調(diào)查中數(shù)據(jù)的真實(shí)性是件令人頭痛的事情！如何提高數(shù)據(jù)的準(zhǔn)確性和真實(shí)性顯得猶未重要！多數(shù)的調(diào)查從業(yè)人員都認(rèn)為問(wèn)卷調(diào)查中數(shù)據(jù)質(zhì)量的控制是個(gè)問(wèn)題，也是個(gè)困惑。本期spss交流論壇的討論過(guò)程就圍繞問(wèn)卷調(diào)查中數(shù)據(jù)質(zhì)量的管控這一主題深入展開(kāi)。一、問(wèn)卷設(shè)計(jì)要領(lǐng) 問(wèn)卷調(diào)查應(yīng)用于各種行業(yè)，在此先以互聯(lián)網(wǎng)為例。通常大的網(wǎng)絡(luò)公司網(wǎng)站的改版，平臺(tái)外觀的變化之前都會(huì)進(jìn)行一系列的準(zhǔn)備工作，而這些工作都是由用戶需求驅(qū)動(dòng)的。在這之前你需要明白用戶的原始需求是什么（是不是可能有新的需求）？然后確定合理的設(shè)計(jì)流程：需求調(diào)研-需求分析-產(chǎn)品設(shè)計(jì)-設(shè)計(jì)實(shí)現(xiàn)。需求調(diào)研方面，你需要了解你面對(duì)的核心用戶是誰(shuí)？他們的屬性（年齡、收入之類）如何？有什么樣的需求？滿足這些需求能給我們帶來(lái)什么？調(diào)研結(jié)果的實(shí)現(xiàn)有很多途徑，下面先說(shuō)說(shuō)問(wèn)卷設(shè)計(jì)的基礎(chǔ)知識(shí)。二、問(wèn)卷選題設(shè)計(jì)步驟1. 提出足夠的測(cè)量選題，通常提供的選題是最終問(wèn)卷選題數(shù)的2倍。2. 預(yù)試以刪除不佳的題目：通常可以通過(guò)專家評(píng)估，內(nèi)部試測(cè)等方式排除。例如內(nèi)部試測(cè)中某一選題填答者答案一致性很高（標(biāo)準(zhǔn)差接近0），代表本題在被訪者之間沒(méi)有區(qū)別能力，則可考慮刪除此題。3. 選取內(nèi)部一致性的題目。4. 建立正式調(diào)查問(wèn)卷：刪除不良的選題后，就可進(jìn)行最后的排版。通常問(wèn)卷前會(huì)有一段文字來(lái)說(shuō)明問(wèn)卷標(biāo)題、研究?jī)?nèi)容與目的、調(diào)查單位、感謝詞、填卷說(shuō)明等等。5. 若不滿意，回到1重復(fù)以上內(nèi)容直到滿意為止。三、問(wèn)卷設(shè)計(jì)精要與評(píng)述-問(wèn)卷設(shè)計(jì)的14條1.題目是否符合研究假設(shè)的需要。2.題目不宜過(guò)長(zhǎng)，應(yīng)以精簡(jiǎn)、易于閱讀為原則。3.問(wèn)卷設(shè)計(jì)的用字不能含糊要明確，用字要淺顯易懂，不要超出答題者的理解能力。4.問(wèn)題不能超出填答者的知識(shí)或能力。5.任何一個(gè)備選答案皆不能有多重意義或包含關(guān)系。6.一個(gè)問(wèn)題不能有兩個(gè)以上的觀念或事物。7.問(wèn)題盡量以封閉式而非開(kāi)放式的方式來(lái)填答。8.問(wèn)題不應(yīng)涉及社會(huì)禁忌與隱私。9.題目應(yīng)盡量保持客觀中立的原則，將自己的主觀意見(jiàn)加入問(wèn)題中，而設(shè)計(jì)出引導(dǎo)性的語(yǔ)句，將會(huì)造成填卷的偏差。10.避免引誘回答或暗示回答的問(wèn)題：例如，您贊不贊成抽煙？正確的問(wèn)法應(yīng)該是，談?wù)勀銓?duì)抽煙的看法？11.通常將一般的、易于回答、熟悉的問(wèn)題放在前面，以避免填答者一開(kāi)始就拒答12.使用反向題目（防止填答者的草率與惡意回答）13.使用同質(zhì)題目。14.量表盡量少使用打分項(xiàng)目，多使用語(yǔ)氣詞。關(guān)于14條的評(píng)述1.關(guān)于第7題，封閉題與開(kāi)放題的設(shè)計(jì)與調(diào)查的目的有關(guān)，封閉便于統(tǒng)一分析，但開(kāi)放式便于收集建議。開(kāi)放題需要編碼量化，重新分類，分析起來(lái)比較麻煩，所以開(kāi)放題應(yīng)該少一些。此外，開(kāi)放題太多容易讓被訪者反感。一般開(kāi)放題多為定性研究，所以更適合深訪和座談會(huì)是使用。2.關(guān)于第12條，當(dāng)你發(fā)現(xiàn)實(shí)際的數(shù)據(jù)有假時(shí)，他就為我們提供了辨?zhèn)未嬲娴挠行ХㄩT，可以說(shuō)一妙招！反向問(wèn)題通常不易太多，而且正反題目之間，要有一定的同質(zhì)性，這樣便于發(fā)現(xiàn)數(shù)據(jù)中的李鬼。如果正反題目設(shè)計(jì)的合理，正反題目應(yīng)該是負(fù)強(qiáng)相關(guān)，反之，則是李鬼作怪。3.第13題的同質(zhì)題目，是指一個(gè)問(wèn)題在問(wèn)卷中設(shè)置兩種問(wèn)法，對(duì)一個(gè)受訪者問(wèn)2次，只要這兩個(gè)答案不一樣，哈哈虛假數(shù)據(jù)！比如：年齡和身份證號(hào)一起問(wèn)，小孩的年齡與小孩的年級(jí)一起問(wèn)。這是一種檢驗(yàn)數(shù)據(jù)真假的好方法！用之于無(wú)形之中，屢試不爽，相當(dāng)管用。不過(guò)，這招不能讓訪問(wèn)員或者是代理公司知道。此外，為了防止認(rèn)真的人發(fā)現(xiàn)后會(huì)以為問(wèn)卷設(shè)計(jì)者太不細(xì)心了，以為粗心犯錯(cuò)了，所以這道題的問(wèn)法應(yīng)該有所講究。4.對(duì)于第14條，主要是發(fā)現(xiàn)目前的調(diào)查問(wèn)卷中，一遇到量表就是打分，或者通篇全是很不滿意、比較不滿意、基本滿意、非常滿意之類的。其實(shí)，這些對(duì)于被訪者而言在理解上的差異是比較大的。如果是10分的量表，7分與8分的差異有那么明顯嗎？而且實(shí)際中也發(fā)現(xiàn)問(wèn)題的分值比較集中，數(shù)據(jù)的差異比較小。當(dāng)然，打分容易量化，得到的是定距數(shù)據(jù)，滿意不滿意之類的也很容量化。但是，我們把量化的標(biāo)準(zhǔn)授予被訪者，這難免在數(shù)據(jù)間形成差異。比如，我的打分嚴(yán)格，認(rèn)為8分就相當(dāng)高了。他的評(píng)分比較松，經(jīng)常性的會(huì)有10分出現(xiàn)。10分是什么？那是完美無(wú)缺！如果我們提供的是語(yǔ)氣詞，就可以避免這種不妥。比如，調(diào)查服務(wù)人員的服務(wù)態(tài)度。態(tài)度首先是個(gè)模糊的概念，先是態(tài)才是度，度就很難把握。不同的被訪者有不同的理解，采用打分并不妥當(dāng)，因?yàn)楸辉L者的主管因素影響評(píng)價(jià)的客觀性。如果我們采用語(yǔ)氣詞惡劣、冷淡/愛(ài)理不理、比較友好、十分熱情/貼心暖人、完美無(wú)缺，這樣即使不同的被訪者也基本能夠給出客觀的評(píng)價(jià)。此外，由于語(yǔ)氣詞之間的差異，我們也便于量化，而且量化的標(biāo)準(zhǔn)能夠統(tǒng)一，因?yàn)檎莆赵诜治鋈藛T手中。四、信度與效度分析 什么是信度和效度？信度就是指測(cè)量數(shù)據(jù)和結(jié)論的可靠性程度，也就是說(shuō)測(cè)量工具能否穩(wěn)定地測(cè)量到它要測(cè)量的事項(xiàng)的程度。效度就是正確性程度，即測(cè)量工具在多大程度上反映了我們想要測(cè)量的概念的真實(shí)含義，效度越高，即表示測(cè)量結(jié)果越能顯示出所要測(cè)量的對(duì)象的真正特征。信 度關(guān)于信度的數(shù)學(xué)定義，林震巖在其多變量分析一書中定義如下：假定測(cè)量所得的測(cè)量分?jǐn)?shù)為x，真實(shí)分?jǐn)?shù)為T，誤差分?jǐn)?shù)為E，三者的關(guān)系為x=T+E,即誤差分?jǐn)?shù)越小信度越高，而信度則為測(cè)量分?jǐn)?shù)x與真實(shí)分?jǐn)?shù)T的相關(guān)系數(shù)的平方。通俗地講，信度是說(shuō)問(wèn)卷設(shè)計(jì)本身的優(yōu)劣，通過(guò)實(shí)際的填寫數(shù)據(jù)，來(lái)反映問(wèn)卷設(shè)計(jì)的好還是不好。信度系數(shù)越大，表明測(cè)量的可信程度越大。在實(shí)際應(yīng)用中，信度主要有以下幾種類型：1.重測(cè)信度 這種方法通常是重復(fù)同樣的測(cè)量來(lái)檢驗(yàn)信度信度系數(shù)可以用相關(guān)系數(shù)來(lái)表示。假如我們第一次測(cè)量時(shí)的觀測(cè)值是X，第二次的觀測(cè)值是Y,那么重測(cè)信度就等于X與Y的相關(guān)系數(shù)。但重復(fù)測(cè)量時(shí)，我們要注意兩次測(cè)量的時(shí)間間隔要恰當(dāng)。如果時(shí)間間隔太久，可能會(huì)發(fā)生一些變故，影響到被調(diào)查者的態(tài)度，那么前后的測(cè)量就會(huì)有很大的差異。2.復(fù)本信度 復(fù)本是針對(duì)原本而言的，它使原本的復(fù)制品。對(duì)一項(xiàng)調(diào)查的問(wèn)題，讓被調(diào)查者接受問(wèn)卷測(cè)量，并同時(shí)接受調(diào)查問(wèn)卷的副本的調(diào)查，然后根據(jù)結(jié)果計(jì)算原本和復(fù)本的相關(guān)系數(shù)，就得到復(fù)本信度。3.內(nèi)部一致性信度 內(nèi)部一致性信度，主要反映的是測(cè)驗(yàn)內(nèi)部題目之間的關(guān)系，考察測(cè)驗(yàn)的各個(gè)題目是否測(cè)量了相同的內(nèi)容或特質(zhì)。內(nèi)部一致性信度又分為分半信度和同質(zhì)性信度。1)分半信度系數(shù)是通過(guò)將測(cè)驗(yàn)分成兩半，計(jì)算這兩半測(cè)驗(yàn)之間的相關(guān)性而獲得的信度系數(shù)。測(cè)驗(yàn)愈長(zhǎng)，信度系數(shù)愈高。這種方法一般不適用于事實(shí)式問(wèn)卷（如年齡與性別無(wú)法相比），常用于態(tài)度、意見(jiàn)式問(wèn)卷的信度分析。2)同質(zhì)性信度是指測(cè)驗(yàn)內(nèi)部的各題目在多大程度上考察了同一內(nèi)容。同質(zhì)性信度低時(shí)，即使各個(gè)測(cè)試題看起來(lái)似乎是測(cè)量同一特質(zhì)，但測(cè)驗(yàn)實(shí)際上是異質(zhì)的，即測(cè)驗(yàn)測(cè)量了不止一種特質(zhì)。同質(zhì)性分析與項(xiàng)目分析中的內(nèi)部一致性分析相類似，常用Cronbach 信度（系數(shù)）來(lái)測(cè)量。4. 評(píng)分者信度 這種方法在測(cè)量工具的標(biāo)準(zhǔn)化程度較低的情況下進(jìn)行的，是指不同評(píng)分者對(duì)同樣對(duì)象進(jìn)行評(píng)定時(shí)的一致性。最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級(jí)相關(guān)方法。關(guān)于信度評(píng)述 Cronbach信度系數(shù)的取值范圍到底是多大？對(duì)于的取值范圍很多數(shù)書上的表達(dá)都比較模糊。Cronbach 系數(shù)的值一般在0和1之間。如果X系數(shù)不超過(guò)0.6，一般認(rèn)為內(nèi)部一致信度不足。也有學(xué)者認(rèn)為，在基礎(chǔ)研究中Cronbach 系數(shù)至少應(yīng)達(dá)到0.8才能接受，在探索研究中Cronbach 系數(shù)至少應(yīng)達(dá)到0.7才能接受，而在實(shí)務(wù)研究中，Cronbach 系數(shù)只需達(dá)到0.6即可。那么，到底的理論取值范圍是多大呢？我們先看的計(jì)算公式：a=K/(K-1)1-(S2i)/(S2x)。其中，K為量表中題項(xiàng)的總數(shù)，S2i為第i題得分的題內(nèi)方差，S2x為全部題項(xiàng)總得分的方差。需要強(qiáng)調(diào)的是S2x是總得分的方差，而不是總方差。總得分只是把每一題的得分加總，而總方差卻是基于方差分析時(shí)的方差分解。在方差分析是，總方差一定大于組內(nèi)方差；但是總得分方差確有可能小于題內(nèi)方差。經(jīng)過(guò)我的計(jì)算，值的理論區(qū)間應(yīng)該是(-，1。比如這兩組數(shù)據(jù)：1、2、3、4、5與5，4，3，2，2。經(jīng)計(jì)算兩列數(shù)據(jù)的值為-40。 但是，實(shí)際中系數(shù)檢測(cè)的是數(shù)據(jù)間的內(nèi)部一致性。也就是說(shuō)前提假設(shè)數(shù)據(jù)內(nèi)應(yīng)該是基本一致的，也就是正相關(guān)的，所以通常范圍在0，1這間。值則表示一致程度。如果是出現(xiàn)負(fù)值，則說(shuō)明兩列數(shù)據(jù)的不一致程度。但是，-值又不能簡(jiǎn)單理解成內(nèi)部不一致系數(shù)，因?yàn)槭菍ｉT為測(cè)量一致性而設(shè)置的，也就是說(shuō)只在表達(dá)一致性上有意義，或者可以說(shuō)成是只在值大于0時(shí)才有意義。當(dāng)兩列數(shù)據(jù)的相關(guān)系數(shù)為負(fù)是，總得分方差S2x肯定小于題內(nèi)方差S2i，所以會(huì)出現(xiàn)負(fù)值。只是相關(guān)系數(shù)用于測(cè)量?jī)勺兞恐g的，而系數(shù)可用于測(cè)量多個(gè)變量。效度效度及測(cè)量的有效性程度，也就是說(shuō)測(cè)量工具確能測(cè)出其所要測(cè)量特質(zhì)的程度。效度是科學(xué)的測(cè)量工具所必須具備的最重要的條件。效度分為三種類型：內(nèi)容效度、準(zhǔn)則效度和結(jié)構(gòu)效度。效度分析有多種方法，其測(cè)量結(jié)果反映效度的不同方面。常用于調(diào)查問(wèn)卷效度分析的方法主要有以下幾種。1.內(nèi)容效度 內(nèi)容效度又稱表面效度或邏輯效度，它是指所設(shè)計(jì)的題項(xiàng)能否代表所要測(cè)量的內(nèi)容或主題。對(duì)內(nèi)容效度常采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合的方法進(jìn)行評(píng)價(jià)。邏輯分析一般由研究者或?qū)＜以u(píng)判所選題項(xiàng)是否“看上去”符合測(cè)量的目的和要求。統(tǒng)計(jì)分析主要采用單項(xiàng)與總和相關(guān)分析法獲得評(píng)價(jià)結(jié)果，即計(jì)算每個(gè)題項(xiàng)得分與題項(xiàng)總分的相關(guān)系數(shù)，根據(jù)相關(guān)是否顯著判斷是否有效。若量表中有反意題項(xiàng)，應(yīng)將其逆向處理后再計(jì)算總分。2、準(zhǔn)則效度分析 準(zhǔn)則效度（Criterion Validity）。又稱為效標(biāo)效度或預(yù)測(cè)效度。準(zhǔn)則效度是指量表所得到的數(shù)據(jù)和其他被選擇的變量（準(zhǔn)則變量）的值相比是否有意義。根據(jù)時(shí)間跨度的不同，準(zhǔn)則效度可分為同時(shí)效度和預(yù)測(cè)效度。準(zhǔn)則效度分析是根據(jù)已經(jīng)得到確定的某種理論，選擇一種指標(biāo)或測(cè)量工具作為準(zhǔn)則（效標(biāo)），分析問(wèn)卷題項(xiàng)與準(zhǔn)則的聯(lián)系，若二者相關(guān)顯著，或者問(wèn)卷題項(xiàng)對(duì)準(zhǔn)則的不同取值、特性表現(xiàn)出顯著差異，則為有效的題項(xiàng)。評(píng)價(jià)準(zhǔn)則效度的方法是相關(guān)分析或差異顯著性檢驗(yàn)。在調(diào)查問(wèn)卷的效度分析中，選擇一個(gè)合適的準(zhǔn)則往往十分困難，使這種方法的應(yīng)用受到一定限制。3、結(jié)構(gòu)效度分析 結(jié)構(gòu)效度又稱為建構(gòu)效度，是指測(cè)量結(jié)果體現(xiàn)出來(lái)的某種結(jié)構(gòu)與測(cè)值之間的對(duì)應(yīng)程度。結(jié)構(gòu)效度分析所采用的方法是因子分析。最關(guān)心的問(wèn)題是：量表實(shí)際測(cè)量的是哪些特征？在評(píng)價(jià)建構(gòu)效度時(shí)，調(diào)研人員要試圖解釋“量表為什么有效”這一理論問(wèn)題以及考慮從這一理論問(wèn)題中能得出什么推論。信度與效度的關(guān)系1.信度低，效度不可能高。因?yàn)槿绻麥y(cè)量的數(shù)據(jù)不準(zhǔn)確，也并不能有效地說(shuō)明所研究的對(duì)象2.信度高，效度未必高。例如，如果我們準(zhǔn)確地測(cè)量出某人的經(jīng)濟(jì)收入，也未必能夠說(shuō)明他的消費(fèi)水平。3.效度低，信度很可能高。例如，即是一項(xiàng)研究未能說(shuō)明社會(huì)流動(dòng)的原因，但它很有可能很精確很可靠地調(diào)查各個(gè)時(shí)期各種類型的人的流動(dòng)數(shù)量。4.效度高，信度也必然高。五、偽數(shù)據(jù)的識(shí)別與處理 調(diào)查數(shù)據(jù)由于訪問(wèn)員的素質(zhì)層次不齊，或者被訪者的配合程度不同，數(shù)據(jù)中難免會(huì)出現(xiàn)偽數(shù)據(jù)，或者說(shuō)是造假數(shù)據(jù)。因?yàn)楹芏嗾{(diào)查公司的訪問(wèn)員或者是實(shí)地執(zhí)行的督導(dǎo)，為了完成任務(wù)或賺取更多的經(jīng)濟(jì)利益而有意偽造數(shù)據(jù)。 前面提到的同質(zhì)問(wèn)題、反向問(wèn)題在一定程度上可以幫助分析人員查找偽數(shù)據(jù)，在此不再贅述。此外，還可以通過(guò)邏輯判斷來(lái)查找數(shù)據(jù)的真?zhèn)?，比如性別為男，卻回答了男性本該跳過(guò)的題目。一般來(lái)說(shuō)，通過(guò)分析每一份個(gè)案中同一選項(xiàng)的比例，可以發(fā)現(xiàn)偽數(shù)據(jù)。比如，某個(gè)個(gè)案中，在30題中c選項(xiàng)的比例超過(guò)閥值（比如80%）則可以視為偽數(shù)據(jù)?；蛘咄ㄟ^(guò)計(jì)算某個(gè)訪問(wèn)員所有調(diào)查問(wèn)卷中選項(xiàng)的比例，如果某一項(xiàng)的比例超過(guò)閥值，則可以認(rèn)定該訪問(wèn)員造假，則放棄該訪問(wèn)員的所有調(diào)查問(wèn)卷數(shù)據(jù)。這里我們重要探討是否可以通過(guò)查看數(shù)據(jù)的分布，來(lái)判定調(diào)查問(wèn)卷數(shù)據(jù)的可靠性。以滿意度調(diào)查為例。在對(duì)數(shù)據(jù)量表量化之后，可以計(jì)算每個(gè)個(gè)案的所以量表的總分。比如，一共有30題，每題的得分范圍為1-10分。那么總分的理論取值范圍就是30-300。如果我們一共收集了500份問(wèn)卷，那么就應(yīng)該有500個(gè)總得分?，F(xiàn)在我們據(jù)此總得分字段來(lái)分析問(wèn)卷的真實(shí)程度。 理論上講，一項(xiàng)服務(wù)的滿意度也應(yīng)該服從正態(tài)分布。因?yàn)榇蠖嗍潜辉L者的評(píng)價(jià)應(yīng)該差不多，高分和