教育測量的質(zhì)量指標概述.ppt

第二章教育測量的質(zhì)量指標 第二節(jié)效度 第二節(jié)效度 一 效度的概念二 效度的統(tǒng)計學原理及其與信度的關(guān)系三 效度的估計四 提高效度的方法 一 效度的概念 效度 Validity 是指測量結(jié)果的準確性和有效性的程度 亦即測量是否達到了預期的目的 第一 效度是一個相對的概念 1 測量的效度始終是對一定的測量目的而言的 2 測量的效度是相對于測量的結(jié)果而言的 第二 一種測驗的效度只是高或低的問題 第三 在教育測量中 效度問題比在其他領(lǐng)域的測量中更為重要 一 效度的概念 這是因為 教育測量的對象大多是精神現(xiàn)象 只能通過對其具有可測性的外部表現(xiàn) 如語言或動作等 的測量 以間接認識其心理活動 心理特征或知識水平等 學生的心理活動 心理特征與其外部表現(xiàn)之間 一般僅具有相關(guān)關(guān)系而無函數(shù)關(guān)系 外部行為并不能準確無誤地反映某種心理狀態(tài) 教育測量的對象不是物而是有主觀能動性的人 人能有意識地調(diào)節(jié)自己的外部行為 掩蓋自己的內(nèi)心活動 這就增加了認識其精神現(xiàn)象的難度 二 效度的統(tǒng)計學原理及其與信度的關(guān)系1 效度的統(tǒng)計學原理 在實際測量中 影響效度的主要因素是系統(tǒng)誤差 因而在討論效度時 還必須把真分數(shù)方差分解為兩個部分 一是潛在真分數(shù)方差 V2 另一部分是系統(tǒng)誤差分數(shù)方差 I2 它與由隨機誤差引起的變異 E2 不同 2 效度與信度的關(guān)系 根據(jù)公式 2 2 和 2 3 可將效度與信度的關(guān)系圖解于后 根據(jù)分析 可得結(jié)論如下 1 高信度是高效度的必要條件 而非充分條件 2 效度系數(shù)不會大于信度系數(shù)的平方根 可以用下式表示 高效度 高信度 低效度 高信度 低效度 低信度 三 效度的估計 效度估計就是多方尋找證據(jù)來證明一個測驗的有效性程度的過程 1974年美國心理學會發(fā)行的 教育和心理測量的標準 一書將效度分為三大類 內(nèi)容效度 效標關(guān)聯(lián)效度和結(jié)構(gòu)效度 一 內(nèi)容效度 Contentvalidity 又稱合理效度或邏輯程度 是指測驗內(nèi)容或行為取樣的代表性和適當程度 即測驗的內(nèi)容范圍 材料與所要測量的內(nèi)容范圍 教育目標是否相符合 測驗中測題所引起的行為是否是所要測量的屬性的明確反應 測驗的結(jié)果是否是一個有代表性的行為樣本 估計內(nèi)容效度的方法 估計內(nèi)容效度的方法 1 邏輯分析的方法 其工作思路是請有關(guān)專家對測驗題目與原定內(nèi)容范圍的吻合程度作出判斷 2 統(tǒng)計分析法 從同一個教學內(nèi)容總體中抽取兩套獨立的平行測驗 用這兩個測驗來測同一批被試 求其相關(guān) 若相關(guān)高 表明測驗內(nèi)容效度較高 若相關(guān)低 表示測驗的內(nèi)容效度較低 采用求統(tǒng)計量的公式進行計算 其公式有以下三種形式 內(nèi)容效度主要應用于成就測驗 學科測驗 選拔和分類職業(yè)測驗 內(nèi)容效度不適合用于能力傾向和人格測驗 二 效標關(guān)聯(lián)效度 又可稱為經(jīng)驗效度或統(tǒng)計效度 是以測驗分數(shù)和效標之間的相關(guān)系數(shù)來表示測驗效度的高低的 效標就是足以顯示測驗所欲測量的特性的變量或足以顯示測驗所欲預測的特性的變量 它是用來檢驗測驗效度的外在的 客觀的標準和尺度 效標關(guān)聯(lián)效度又可分為同時效度和預測效度 用全國高考的成績作為效標來檢驗高中畢業(yè)生會考的成績 計算兩者之間的相關(guān)系數(shù)就是會考的同時效度 而用大學一年級的成績作為效標來檢驗高考的成績 計算兩者的相關(guān)系數(shù)就是高考的預測效度 估計效標關(guān)聯(lián)效度可采用積差相關(guān) 二列相關(guān)或點二列相關(guān) 四格相關(guān)和多元相關(guān)系數(shù)等計算各種相關(guān)系數(shù) 1 用積差相關(guān)系數(shù)的方法估計效度 積差相關(guān) 是計算兩個變量線性相關(guān)的一種方法 由英國統(tǒng)計學家皮爾遜提出 因此也稱為皮爾遜 Pearson 相關(guān) 要使用積差相關(guān)必須同時具備如下幾個條件 兩個變量都是由測量獲得的連續(xù)性數(shù)據(jù) 即等距或等比數(shù)據(jù) 兩個變量的總體都呈正態(tài)分布 或接近正態(tài)分布 至少是單峰對稱分布 當然樣本并不一定要正態(tài) 必須是成對的數(shù)據(jù) 而且每對數(shù)據(jù)之間是相互獨立的 即各自互不影響 本條件是難以檢驗的 兩個變量之間呈線性關(guān)系 一般用描繪散點圖的方式來觀察 最好是先各自轉(zhuǎn)化為Z分數(shù) 單位會統(tǒng)一些 例 某中學數(shù)學教研組的教師積多年的教學法經(jīng)驗 認為剛?cè)敫咧械膶W生學習立體幾何感到困難的主要原因是空間想像力弱 為了證明這個論點 他們讓剛?cè)敫咧械?03名學生作10道題 測量其空間想像力 為避免知道了某些學生的剛?cè)敫咧袝r的成績影響以后考試的評分 試卷暫不評閱 立體幾何學完后 進行考試 按得分多少把成績分為五等 A B C D E 分別得5 4 3 2 1分 這時才評閱入學時的試卷 統(tǒng)計出期末得5 4 3 2 1分者在入學測驗中分別答對1道題至10道題的人數(shù) 見表2 1 就現(xiàn)有資料 用什么方法可以判斷教師們的意見是否正確 表2 1 解 1 設(shè)期末考試的等第為y 空間想像力測驗答對的題數(shù)為x 列出二重交叉次數(shù)分布表 2 用積差相關(guān)系數(shù)公式計算效度系數(shù) 二列相關(guān) 適用于兩個變量就其實際含義而言是等距或等比數(shù)據(jù) 它們服從正態(tài)分布 其中一列人為地劃分為兩類 點二列相關(guān) 適用于一列數(shù)據(jù)為等距或等比且總體服從正態(tài)分布 實際上只需要單峰對稱分布 如 分布 另一列變量是按事物的性質(zhì)劃分為兩類的變量 也可以是一個雙峰分布 人為劃分為兩類 如文盲與非文盲 這種相關(guān)系數(shù)多用于測驗中評價題目的區(qū)分度 對選擇題 判斷題在整個測量中作用作出判斷 基本計算公式 例 有一位教師自編了一套測驗題 用來預測學生一年后的某科成績 自編測驗按百分制評分 一年后考試評分只把學生分為及格者和不及格者 試就所獲資料估計自編測驗的預測效度 解 1 把兩次測驗成績成對排列 2 計算出二列相關(guān)公式所需統(tǒng)計量 三 結(jié)構(gòu)效度 Constructvalidity 結(jié)構(gòu)效度是指一個測量能實際測量出理論上的構(gòu)想或心理特性的程度 它的目的在于從心理學的理論觀點就測驗的結(jié)果加以解釋和探討 這里的結(jié)構(gòu)的含義是心理學理論所涉及的抽象而屬假設(shè)性的概念 構(gòu)想 特性或變量 如智力 焦慮 機械能力傾向 成就 動機等 結(jié)構(gòu)效度主要用于智力測驗 人格測驗等一些心理測驗方面 例如 人的創(chuàng)造力可以分解為人的思維流暢性 靈活性和創(chuàng)造性三大特性 并根據(jù)這三大特性編制測驗 若有足夠的證據(jù)來證明該測驗確實可以測到這些特性 則認為該測驗是個結(jié)構(gòu)效度較高的創(chuàng)造力測驗 1 結(jié)構(gòu)效度的特點 結(jié)構(gòu)效度的大小完全取決于事先假定的心理特質(zhì)理論 一旦人們對同一種心理特質(zhì)有著不同的定義或假設(shè) 則會使得關(guān)于特質(zhì)測驗的結(jié)構(gòu)效度的研究結(jié)果無法比較 當實際測量的資料無法證實我們的理論假設(shè)時 并不一定就表明該測驗結(jié)構(gòu)效度高 因為還有可能出現(xiàn)理論假設(shè)不成立 或者該實驗設(shè)計不能對該假設(shè)作適當?shù)臋z查等情況 這就使得結(jié)構(gòu)效度的獲取更為困難 2 建立結(jié)構(gòu)效度的步驟 A 提出理論假設(shè) B 根據(jù)假定結(jié)構(gòu)擬定測題 編制測驗 C 以測驗結(jié)果為根據(jù)來驗證假設(shè)結(jié)構(gòu)中的各種因素是否成立 3 結(jié)構(gòu)效度的估計 A 因素分析法其目的是把一些具有錯綜復雜關(guān)系的因素歸結(jié)為數(shù)量較少的幾個綜合因素或稱共同因素 并以此測驗所測之特質(zhì)對測驗分數(shù)作出解釋 B 多元特質(zhì)多重方法矩陣法是由肯貝爾和菲斯克1959年提出的最受歡迎的一種結(jié)構(gòu)效度的評估方法 這種方法的設(shè)想 若采用兩種方法以上的方法去測量兩種以上的特質(zhì) 那么這些測量結(jié)果之間可以形成一個多元特質(zhì)多重方法矩陣 四 提高效度的方法 一 各種效度系數(shù)的要求 二 影響效度的因素測驗的構(gòu)成 要素 測驗實施方面 過程 被試主觀狀態(tài)方面估計效度所依循的效標樣本方面 四 提高效度的方法 三 提高效度的方法 1 控制系統(tǒng)誤差2 精心編制量表3 妥善組織測驗4 擴充樣本的容量和代表性5 合理處理效度和信度的關(guān)系6 適當增加測驗的長度 表2 1測驗長度與信度和效度的關(guān)系 第三節(jié)難度及其計算 一 難度的概念難度是指測量試題的難易程度 一個題目的難度大小 除了所測的內(nèi)容本身的難易程度有關(guān)以外 還與測驗的編制技術(shù)和被試的知識經(jīng)驗有關(guān) 這就是說測驗的難度具有相對性 正因為此 必須讓試題通過實踐來對難度作出檢驗 二 難度的計算 一 計算難度的基本公式1 客觀題難度的計算 2 主觀題難度的計算 P表示難度指標 N表示參加考試的總?cè)藬?shù) R表示答對某道客觀題的人數(shù) 二 難度的計算 例1 在100個學生中 答對第一題的30人 答對第二題的60人 求第一 二道題的難度 比較這兩道題誰比誰難 例2 某道論述題滿分12分 所有考生在這道題上的平均得分為3 6分 求該題的難度 例3 語文測驗第五題最高得分為12分 這道題考生的平均得分是8 5分 求該題難度 例4 60人參加考試 某題滿分為12分 正確得分累積是480分 求該題難度 二 用極端分組法計算試題的難度 1 用極端分組法計算客觀題的難度具體步驟如下 1 先按測驗總分的高低 按由高到低的順序依次排列試卷 2 從得分最高的一份試卷開始依次向下選出全部試卷的27 作為高分組 從得分最低的一份試卷開始依次向上選出全部試卷的27 作為低分組 3 按計算公式計算難度 例題5 某區(qū)域1000人參加考試 試卷第一題高分組180人答對 低分組60人答對 求該題難度 約為0 44 如果該題滿分為10分 高分組得分總數(shù)為2100分 低分組得分總數(shù)為830分 求該題難度 2 用極端分組法計算論文試題難度 步驟如下 1 按測驗得分排列試卷 確定高分組與低分組 各占總?cè)藬?shù)的25 方法同前 2 分別為高分組 低分組編制每道試題的分析表 3 按下列公式計算難度 例 某道論文題 高分組得分總和為40分 低分組得分總和為15分 有40人參加考試 這道題最高得分為8分 最低得分為2分 則此題的難度為多少 0 125 計算 解 依據(jù)主觀題極端分組法計算公式 0 125 三 難度的分析與控制 1 難度分析進行難度分析的主要目的是為了篩選題目 A 測驗題目難度水平的確定測驗題目難度水平的適當與否 取決于測驗的目的 性質(zhì)和題目的形成 當P值接近于0或接近于1時 即被試在該題上全部答對或全部答錯 則該題無法提供個體的信息 而只當P值接近于0 50時 題目才能把被試做最大的程度的區(qū)分 但在實際工作中 若每一題的難度值均為0 50 那么此測驗很可能只能區(qū)分出好與差兩種極端被試的差異 卻不能對各種被試作更精確的區(qū)分 因此 一般各題的難度可在0 50 20之間 B 測驗難度對分數(shù)分布的影響 1 測驗難度影響分數(shù)的分布形態(tài) 難度值越接近0 測驗的難度就越大 測驗分數(shù)就越是集中在低分端 其分數(shù)分布越呈現(xiàn)正偏態(tài) 反之 難度值越接近1 00 其難度就越小 測驗分數(shù)越集中在高分端 分數(shù)分布呈負偏態(tài) 2 測驗難度影響測驗分數(shù)的離散程度測驗難度過大過小 都會造成測驗分數(shù)偏離正態(tài)分布 從而使分數(shù)的全距縮小 使測驗分數(shù)的離散程度變小 3 測驗難度影響測驗的鑒別能力在測驗中 考生之間相互配對比較的可能性越多 就越有利于準確地鑒別考生的不同能力 2 難度的控制 一般說來 影響題目難度的主要因素有 考察知識點的多少 考察能力的復雜程度或?qū)哟蔚母叩?考生對題目的熟悉態(tài)度 命題的技巧 難度控制 正確估計考生水平 弄清弄懂各知識點 掌握命題技巧 第四節(jié)區(qū)分度及其計算 一 區(qū)分度的意義 一 區(qū)分度 Discrimination 是指測驗對考生實際水平的區(qū)分程度 用符號D表示 又叫鑒別力 它是評價試題質(zhì)量 篩選試題的主要指標與依據(jù) 區(qū)分度 D 的取值范圍介于 1 00 1 00之間 值越大 區(qū)分度的效果越佳 區(qū)分度D 0為正區(qū)分 D 0為負區(qū)分 D 0為零區(qū)分 區(qū)分度的高低直接影響到測驗的信度和效度 二 區(qū)分度與測驗信度 難度的關(guān)系 1 區(qū)分度與信度的關(guān)系 見下表2 2 這里是假定全部試題的難度均為0 50時所預測的信度系數(shù) 區(qū)分度指的是平均值 可見 要想達到理想的測驗信度 提高區(qū)分度是一個好辦法 二 區(qū)分度與難度的關(guān)系 表2 3D的最大值與試題難度的關(guān)系由上表可知 難度適中 可使區(qū)分度達到最大值 二 區(qū)分度的計算 一 用極端分組法計算區(qū)分度1 客觀題區(qū)分度的計算 D PH PL2 主觀題區(qū)分度的計算 二 區(qū)分度的計算 例1 有道試題 高分組有70 學生通過 低分組有30 的學生通過 而另一道題 高分組有40 學生通過 低分組有70 學生通過 求兩題的各自區(qū)分度 例2 高分組低分組得分X人次f得