《教育統(tǒng)計(jì)與測量評(píng)價(jià)新編教程》課件-教育統(tǒng)計(jì)與測量評(píng)價(jià)新編教程-第06章

第六章教育測量與評(píng)價(jià)的質(zhì)量特性內(nèi)容導(dǎo)讀主要介紹和探討教育測量與評(píng)價(jià)的信度、效度，教育測量與評(píng)價(jià)中題目的難度、區(qū)分度。學(xué)習(xí)本章內(nèi)容時(shí)，要理解概念和方法，比較不同概念和不同方法之間的聯(lián)系與區(qū)別，通過自己歸納與分類整理，更好地掌握本章內(nèi)容。第一節(jié)教育測量與評(píng)價(jià)的信度教育測量與評(píng)價(jià)的信度，簡單地說就是教育測量與評(píng)價(jià)結(jié)果的可信程度，記為rxx。如果用同一測量工具反復(fù)測量同一種特質(zhì)對(duì)象，則多次測量結(jié)果間的一致性程度也叫信度。測驗(yàn)信度是對(duì)測驗(yàn)工具及其操作的整體質(zhì)量的一種量度，是測驗(yàn)性能的重要質(zhì)量指標(biāo)。。第一節(jié)教育測量與評(píng)價(jià)的信度一、重測信度和復(fù)本信度1．重測信度重測信度指的是用同一個(gè)量表（測驗(yàn)或評(píng)價(jià)表）對(duì)同一組被試施測兩次所得結(jié)果的一致性程度，其大小等于同一組被試在兩次測驗(yàn)上所得分?jǐn)?shù)的相關(guān)系數(shù)。重測信度有個(gè)基本假設(shè)，那就是假設(shè)某測驗(yàn)所要測量的潛在特質(zhì)，短期內(nèi)不會(huì)隨著時(shí)間的推移而改變。因此，重測信度的用途也在于估計(jì)測驗(yàn)結(jié)果（以測驗(yàn)分?jǐn)?shù)表示）經(jīng)過一段時(shí)間后是否仍然維持穩(wěn)定、一致的特性，又稱為穩(wěn)定性系數(shù)。第一節(jié)教育測量與評(píng)價(jià)的信度一、重測信度和復(fù)本信度2．復(fù)本信度所謂復(fù)本測驗(yàn)，是指在試題格式、題數(shù)、難度、指導(dǎo)語說明、施測要求等方面都相當(dāng)，并且都用來測量相同潛在特質(zhì)或?qū)傩?，但試題又不相同的測驗(yàn)。復(fù)本測驗(yàn)也稱作平行測驗(yàn)。復(fù)本信度指的是兩個(gè)平行測驗(yàn)測量同一批被試所得結(jié)果的一致性程度，其大小等于同一批被試在兩個(gè)復(fù)本測驗(yàn)上所得分?jǐn)?shù)的相關(guān)系數(shù)。二、同質(zhì)性信度同質(zhì)性信度也叫內(nèi)部一致性信度，它是指測驗(yàn)內(nèi)部所有題目間的一致性程度。這里，題目間的一致性含有兩層意思：其一是指所有題目測的是同一種心理特質(zhì)；其二是指所有題目得分之間都具有較高的正相關(guān)。也就是說，同質(zhì)性信度就是一個(gè)測驗(yàn)所測內(nèi)容或特質(zhì)的相同程度。第一節(jié)教育測量與評(píng)價(jià)的信度二、同質(zhì)性信度估計(jì)同質(zhì)性信度的方法主要有：1.分半信度分半信度指的是將一個(gè)測驗(yàn)分成對(duì)等的兩半后，所有被試在這兩半上所得分?jǐn)?shù)的一致性程度。它反映了測驗(yàn)分兩半后題目間的一致性，所以屬于同質(zhì)性信度。2.庫德—理查遜信度庫德—理查遜信度（Kuder&Richardsonreliability），該方法適合于測驗(yàn)題目全部為二分記分題的測驗(yàn)的內(nèi)部一致性信度分析。庫德—理查遜公式有好幾個(gè)，其中常用的有KR20和KR21公式。第一節(jié)教育測量與評(píng)價(jià)的信度二、同質(zhì)性信度估計(jì)同質(zhì)性信度的方法主要有：3.克龍巴赫（Cronbach）α系數(shù)當(dāng)測驗(yàn)題型較多、并非都是二分記分題時(shí)，估計(jì)測驗(yàn)信度可采用克龍巴赫α系數(shù)。其計(jì)算公式為：第一節(jié)教育測量與評(píng)價(jià)的信度三、標(biāo)準(zhǔn)參照測驗(yàn)的信度分析（一）教育測量與教育評(píng)價(jià)在標(biāo)準(zhǔn)參照測驗(yàn)中，決定學(xué)生的學(xué)習(xí)是否達(dá)到教師預(yù)先設(shè)定的掌握標(biāo)準(zhǔn)，是一件很重要的事情。在這個(gè)標(biāo)準(zhǔn)下，多數(shù)學(xué)生的學(xué)習(xí)將可以達(dá)到某種滿意的掌握水平，因此，學(xué)生在測驗(yàn)上得分的變異數(shù)將會(huì)變得很小。在這種理念下，上述較適用于常模參照測驗(yàn)的信度的一些估計(jì)方法便不適合用來估計(jì)標(biāo)準(zhǔn)參照測驗(yàn)的信度。第一節(jié)教育測量與評(píng)價(jià)的信度三、標(biāo)準(zhǔn)參照測驗(yàn)的信度分析（一）教育測量與教育評(píng)價(jià)既然在標(biāo)準(zhǔn)參照測驗(yàn)中，學(xué)生的測驗(yàn)分?jǐn)?shù)是用來作為決定（或判斷）其是否達(dá)到掌握標(biāo)準(zhǔn)的一項(xiàng)重要依據(jù)，因此，“決定”是否正確遠(yuǎn)比分?jǐn)?shù)“估計(jì)”是否精確更重要。在這一思想指導(dǎo)下，人們提出了一些分析標(biāo)準(zhǔn)參照測驗(yàn)信度的方法，這里介紹百分比一致性指標(biāo)的方法。百分比一致性（percentagreement，簡稱PA）指標(biāo)是指同一測驗(yàn)或兩平行測驗(yàn)先后兩次施測，其對(duì)被試的分類結(jié)果一致的比例第一節(jié)教育測量與評(píng)價(jià)的信度四、測量標(biāo)準(zhǔn)誤與測驗(yàn)信度的關(guān)系測量標(biāo)準(zhǔn)誤是指測驗(yàn)中所得測值偏離真分?jǐn)?shù)的程度，記為SE。顯然，它與測驗(yàn)信度系數(shù)之間存在著必然聯(lián)系，這種關(guān)系可定量地表示如下：第一節(jié)教育測量與評(píng)價(jià)的信度測量標(biāo)準(zhǔn)誤是反映測量結(jié)果精確性和可靠性的又一指標(biāo)，同時(shí)也是人們正確解釋測驗(yàn)分?jǐn)?shù)的科學(xué)依據(jù)。第二節(jié)

教育測量與評(píng)價(jià)的效度效度（validity），顧名思義，就是一次測量的有效程度。嚴(yán)格地說，效度是指一個(gè)測驗(yàn)或量表實(shí)際能測出其所要測量特性的程度。顯然，效度是測量質(zhì)量的一個(gè)極其重要的方面，測量工具如果無效或效度太低，就失去了存在的價(jià)值。收集大量資料和證據(jù)來檢驗(yàn)測量效度的工作過程，叫做效度驗(yàn)證（validation）。驗(yàn)證測驗(yàn)效度可以從不同角度采用不同方法來進(jìn)行.根據(jù)驗(yàn)證效度的角度與方法的差異，可以把效度驗(yàn)證工作大體分為三類，驗(yàn)證工作的結(jié)果就分別對(duì)應(yīng)著三種效度：內(nèi)容效度、結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度。一、內(nèi)容效度（一）含義內(nèi)容效度就是測驗(yàn)題目樣本對(duì)應(yīng)測內(nèi)容與行為領(lǐng)域的代表性程度。如果是教學(xué)情境下的成績測驗(yàn)，那么其內(nèi)容效度就是看測驗(yàn)題目樣本能體現(xiàn)教學(xué)目標(biāo)與教材要求的程度。例如，教師給學(xué)生做一份語文測驗(yàn)卷，如果該測驗(yàn)的題目涵蓋了語文教學(xué)所要達(dá)到的各項(xiàng)教學(xué)目標(biāo)及教材的重要內(nèi)容，那么我們便說該測驗(yàn)具有較高的內(nèi)容效度。第二節(jié)教育測量與評(píng)價(jià)的效度一、內(nèi)容效度（二）分析方法內(nèi)容效度的分析方法常用邏輯分析法，即依靠有關(guān)專家對(duì)測驗(yàn)題目與應(yīng)測內(nèi)容范圍的吻合程度做出判斷。例如考試的內(nèi)容效度分析，就是依靠專家來分析一份試卷的所有題目，把所有題目按考試內(nèi)容分布和考查目標(biāo)分布進(jìn)行雙向分類，形成實(shí)際的“題目雙向分類表”?；谶@個(gè)“題目雙向分類表”的分析，再由專家對(duì)這次考試（測量）的內(nèi)容效度的滿意程度做出等級(jí)判斷或評(píng)語描述。如果在測驗(yàn)編制之前已制定“命題雙向細(xì)目表”，那么，對(duì)測驗(yàn)的內(nèi)容效度進(jìn)行分析時(shí)，就可以把基于實(shí)際測驗(yàn)題目分析得到的“題目雙向分類表”，與事先制定的“命題雙向細(xì)目表”進(jìn)行對(duì)照分析，了解實(shí)際命題在多大程度上偏離了原命題計(jì)劃。第二節(jié)教育測量與評(píng)價(jià)的效度二、結(jié)構(gòu)效度所謂結(jié)構(gòu)（construct）效度，是指心理學(xué)或社會(huì)學(xué)上的一種理論構(gòu)想或特質(zhì)。它本身觀察不到，并且也無法直接測量到，但學(xué)術(shù)理論假設(shè)它是存在的，以便能夠解釋和預(yù)測個(gè)人或團(tuán)體的行為表現(xiàn)。例如，智力就是心理學(xué)中的一種結(jié)構(gòu)效度，指的就是測驗(yàn)?zāi)軌驕y量到理論上（通常是心理學(xué)或社會(huì)學(xué)）所定義的某一心理結(jié)構(gòu)或特質(zhì)的程度。第二節(jié)教育測量與評(píng)價(jià)的效度二、結(jié)構(gòu)效度結(jié)構(gòu)效度的驗(yàn)證一般包括四個(gè)步驟：第一，提出有關(guān)理論結(jié)構(gòu)的說明，并據(jù)此設(shè)計(jì)測量用的試題。在實(shí)際應(yīng)用中，測量者也可能是在前人提出的理論結(jié)構(gòu)假設(shè)基礎(chǔ)上來進(jìn)行測驗(yàn)編制的。第二，提出可以驗(yàn)證該理論結(jié)構(gòu)存在的假設(shè)說明。第三，采用各種方法收集實(shí)際的資料，以驗(yàn)證第二步提出的假設(shè)的正確性。第四，收集其他類型的輔助證據(jù)，淘汰與理論結(jié)構(gòu)相反的試題，或是修正理論，并重復(fù)第二和第三步，直到上述的假設(shè)得到驗(yàn)證，即測驗(yàn)的結(jié)構(gòu)效度獲得支持為止。第二節(jié)教育測量與評(píng)價(jià)的效度效標(biāo)關(guān)聯(lián)效度（criterionrelatedvalidity）是指一個(gè)測驗(yàn)對(duì)處于特定情境中的個(gè)體行為進(jìn)行預(yù)測時(shí)的有效性。而要判斷這種預(yù)測的有效性，就必須找一個(gè)測驗(yàn)外在的、客觀的標(biāo)準(zhǔn)，比如用高考成績預(yù)測大學(xué)生的學(xué)習(xí)成績、用能力傾向測驗(yàn)預(yù)測個(gè)體工作上的成效等，那么學(xué)習(xí)成績、工作成效等被預(yù)測的行為同時(shí)也就是檢驗(yàn)測驗(yàn)效度的外在的、客觀的標(biāo)準(zhǔn)，即效度的標(biāo)準(zhǔn)，簡稱效標(biāo)。用這種方法考察測驗(yàn)的效度被稱為效標(biāo)關(guān)聯(lián)效度，由于它是以實(shí)踐的效果來檢驗(yàn)測驗(yàn)是否有效的，因此也被稱為實(shí)證效度。三、效標(biāo)關(guān)聯(lián)效度第二節(jié)教育測量與評(píng)價(jià)的效度根據(jù)效標(biāo)資料獲得的時(shí)間不同及測驗(yàn)使用的目的不同，效標(biāo)關(guān)聯(lián)效度可以分為同時(shí)效度和預(yù)測效度兩種：（1）測驗(yàn)分?jǐn)?shù)與效標(biāo)資料的取得約在同一時(shí)間內(nèi)連續(xù)完成，計(jì)算這兩種資料的相關(guān)系數(shù)即表示測驗(yàn)的同時(shí)效度。（2）在測驗(yàn)分?jǐn)?shù)取得一段時(shí)間后，才獲得效標(biāo)資料，計(jì)算這兩種資料間的相關(guān)系數(shù)即代表測驗(yàn)的預(yù)測效度。三、效標(biāo)關(guān)聯(lián)效度第二節(jié)教育測量與評(píng)價(jià)的效度第三節(jié)

教育測量與評(píng)價(jià)中

題目（項(xiàng)目）的難度教育測量與評(píng)價(jià)中題目或項(xiàng)目的難度，就是被試完成題目或項(xiàng)目任務(wù)時(shí)所遇到的困難程度。定量刻畫被試作答一個(gè)題目所遇到的困難程度的量數(shù)，就叫題目的難度系數(shù)，也常稱為難度值，用符號(hào)P表示。一、難度系數(shù)計(jì)算方法難度系數(shù)的主要計(jì)算方法有以下幾種：1．以全體被試通過率為難度系數(shù)：第三節(jié)教育測量與評(píng)價(jià)中題目（項(xiàng)目）的難度一、難度系數(shù)計(jì)算方法難度系數(shù)的主要計(jì)算方法有以下幾種：2．以全體被試得分率為難度系數(shù)在上例中，第一題實(shí)際上是個(gè)1、0二值記分題。對(duì)于二值記分題，只有答對(duì)與答錯(cuò)之分，其難度系數(shù)在本質(zhì)上是正確作答人數(shù)的比例，也叫通過率。直接建立在通過率基礎(chǔ)上的難度系數(shù)，其取值范圍在0．00（即無人做對(duì)）和1．00（即全部做對(duì)）之間，其計(jì)算公式是：第三節(jié)教育測量與評(píng)價(jià)中題目（項(xiàng)目）的難度一、難度系數(shù)計(jì)算方法難度系數(shù)的主要計(jì)算方法有以下幾種：3．以兩端組被試得分率的均值為難度系數(shù)該方法分別計(jì)算高分組被試和低分組被試的得分率，然后求取二者的平均值作為難度系數(shù)，公式為：第三節(jié)教育測量與評(píng)價(jià)中題目（項(xiàng)目）的難度二、難度系數(shù)變換用上述方法計(jì)算出來的難度系數(shù)，不論是得分率還是失分率，都屬于順序變量，不具有相等的單位。為了解決這個(gè)問題，人們常假設(shè)每個(gè)試題所要測量的潛在特質(zhì)或能力是呈正態(tài)分布的，然后就可以根據(jù)正態(tài)分布曲線，將試題的難度系數(shù)P作為正態(tài)曲線下的概率面積，轉(zhuǎn)換成具有相等單位的等距量表，即Z分?jǐn)?shù)（標(biāo)準(zhǔn)分?jǐn)?shù)）量表。由于標(biāo)準(zhǔn)分?jǐn)?shù)量表具有相等單位，屬于等距量表，因此，用標(biāo)準(zhǔn)分?jǐn)?shù)作為題目難度的指標(biāo)，可為進(jìn)一步做難度分析帶來方便。但是，Z分?jǐn)?shù)有小數(shù)點(diǎn)和負(fù)值，故需作線性變換。其中較為常用的一種變換是美國教育測驗(yàn)服務(wù)中心（EducationalTestingService，簡稱為ETS）采用的難度指標(biāo)，其計(jì)算公式如下：第三節(jié)教育測量與評(píng)價(jià)中題目（項(xiàng)目）的難度二、難度系數(shù)變換式中：Δ（delta）表示題目難度系數(shù)，Z表示由P值轉(zhuǎn)換得來的標(biāo)準(zhǔn)分?jǐn)?shù)，可通過查正態(tài)分布表（見附表3-1）后計(jì)算確定。由于標(biāo)準(zhǔn)分?jǐn)?shù)Z通常只取介于±3之間的數(shù)值，因此，常用的Δ值介于1～25之間，平均難度為13，標(biāo)準(zhǔn)差為4。Δ值越大，表示試題越難；Δ值越小，表示試題越容易。這種表達(dá)比較符合人們的思維習(xí)慣。不過在我國，通常還是用得分率來刻畫題目的難度。第三節(jié)教育測量與評(píng)價(jià)中題目（項(xiàng)目）的難度第四節(jié)

教育測量與評(píng)價(jià)中題目（項(xiàng)目）的區(qū)分度第四節(jié)

教育測量與評(píng)價(jià)中題目（項(xiàng)目）的區(qū)分度一、題目區(qū)分度的意義題目區(qū)分度就是題目區(qū)別被試水平的能力的量度，常記為D。凡是測驗(yàn)，多少都帶有將被試的水平加以區(qū)分的意圖，那么構(gòu)成測驗(yàn)的每一個(gè)題目就應(yīng)該為這一目標(biāo)作貢獻(xiàn)，區(qū)分度就是刻畫試題的這種功能的質(zhì)量指標(biāo)。在所測特質(zhì)上，被試的水平總有高低之分。在區(qū)分度的分析過程中，首先必須找一個(gè)標(biāo)準(zhǔn)，以確定被試實(shí)際水平的高低。只有被試水平高低清楚了，才能判定測驗(yàn)題目對(duì)被試水平的區(qū)分是否正確。因此，理想的辦法就是先找一個(gè)客觀的標(biāo)準(zhǔn)（一個(gè)不依賴于測驗(yàn)成績的外部的客觀標(biāo)準(zhǔn)），再將被試成績按優(yōu)劣順序排好，然后看被試在測驗(yàn)試題上的得分順序是否跟前者相符。第四節(jié)

教育測量與評(píng)價(jià)中題目（項(xiàng)目）的區(qū)分度一、題目區(qū)分度的意義區(qū)分度的分析方法，可以歸納成兩類：一為外在效標(biāo)法，即分析被試在測驗(yàn)題目上的得分與其在外在的客觀標(biāo)準(zhǔn)上的表現(xiàn)之間的關(guān)系。另一類為內(nèi)部一致性法，即分析被試在測驗(yàn)題上的得分與在整個(gè)測驗(yàn)總分之間的一致性程度。在實(shí)際操作中，主要使用的是后者，從這個(gè)意義上說，區(qū)分度的實(shí)質(zhì)，就是題分與總分的相關(guān)程度。區(qū)分度的值域范圍在－1．00～＋1．00之間。通常D為正值，稱作積極區(qū)分；D為負(fù)值，稱作消極區(qū)分；D為0，稱作無區(qū)分作用。具有積極區(qū)分作用的項(xiàng)目，其D值越大，區(qū)分的效果越好。二、區(qū)分度的計(jì)算區(qū)分度的計(jì)算