閱卷管理與監(jiān)測系統(tǒng)

1、.閱卷管理與監(jiān)測系統(tǒng)大規(guī)?？荚囎魑脑u分研究系列之六上文說過，大規(guī)?？荚囍凶魑脑u分的誤差控制包括三個不可缺少的根本環(huán)節(jié)，這就是評分標準、評分方法和閱卷管理。監(jiān)測系統(tǒng)是閱卷管理系統(tǒng)中一個有特殊意義的組成部分。一次大規(guī)模作文考試，假如沒有一套完善的管理制度，沒有一個有效的監(jiān)測系統(tǒng)，那么任何評分標準的厘定、評分方法的改進都只是一句空話。在測試研究中，考務管理是一個專門的領域；在測試機構中，考務管理是一個有特定職能的分支機構。考慮到本刊的讀者對象，以下只作約略的概述。大規(guī)模作文考試的閱卷管理系統(tǒng)大規(guī)模作文考試的閱卷管理系統(tǒng)應承擔以下三個方面的職責：閱卷的業(yè)務指導，閱卷人員的行政管理，閱卷質量的監(jiān)測。在現(xiàn)

2、階段，我國比較完善的閱卷管理程度可以示意如下：作文閱卷管理示意圖附圖圖現(xiàn)代科技的開展，為作文閱卷的管理提供了重要的輔助手段。借助這種手段，閱卷管理的主要工作有：試卷的隨機編排試卷的隨機編排就是把不同學校的考生打亂混合排列。有了電腦，這項工作在技術上是不難解決的。重點學校與非重點學校之間，程度可以相差很大，假如不解決隨機編排問題，那么監(jiān)測系統(tǒng)的數(shù)據(jù)將失去代表性，既使得這些數(shù)據(jù)缺乏應有的說服力，也容易出現(xiàn)盲目的調(diào)控。有了隨機編排，不但閱卷員的評分狀況可以得到比較客觀的反映，而且就閱卷員本人來說，由于一本試卷即同一考場中兼有各類學校的考生作文，可以大大減弱評分心理的位置效應參閱?系列之一?。此舉可以

3、消除評分的系統(tǒng)誤差，即各校的平均成績與其實際程度大體接近，但還不能遏制評分的隨機誤差參閱?系列之一?文末注釋。閱卷員的選擇與培訓?系列之三?所披露的數(shù)字說明，閱卷人員決不是“年齡大、職稱高才好。閱卷隊伍的形成應該是一個選擇的過程，由于大規(guī)模考試作文評分的特點與困難，閱卷者應該是一支半專業(yè)化的隊伍，為此，需要逐步建立閱卷人員檔案。“高考作文評分誤差控制課題組的試驗省分有的正考慮實行“閱卷員證書制度國外已有，這是條很有價值的措施。在選擇閱卷人員的根底上還要進展培訓。以下兩項調(diào)查反映了短期培訓的效果。調(diào)查取各類作文篇，名閱卷員在培訓前后兩次重評。結果如下：培訓前培訓后篇平均標準差總體標準差可見經(jīng)過培

4、訓，閱卷員評分的一致性有所進步，在拉開分數(shù)間隔 方面情況有所改善。調(diào)查取各類作文篇，分成對等兩組，名閱卷員先評第一組作為培訓材料，相隔日再評第二組，結果如下：第一次第二次篇平均標準差觀測結果與調(diào)查相近。培訓可以有兩種方式：短期集中培訓，結合閱卷過程進展。后者一般都與樣本卷討論和典型卷討論合并進展，將在下面專門介紹。樣本卷的選定及其策略即使有了比較完備的評分參照量表參閱上期，每次大規(guī)模考試的樣本卷仍是不可少的。這是因為每年的試題都有其個性，有其需要特殊處理的矛盾，需要根據(jù)當年試題情況編制樣本卷系列予以解決。樣本卷的功能，一是使評分標準明確化、詳細化，二是針對影響閱卷穩(wěn)定的心理因素予以盡可能的控制

5、。因此編制樣本卷系列，在著眼點方面，在策略方面，和參照量表的編制可以有所不同。參照量表的編制要遵循“等距性原那么，即各典型例卷之間，假如按百分制計算，其分距大體上是相等的；樣本卷系列的制訂，那么可以進一步著眼于“分界限和“分歧點。例如：“趨中傾向參閱?系列之一?是大規(guī)?？荚囋u分中一個比較突出的問題，針對這種情況，年江西省在高考作文評分選定樣本卷時采取了以下對策：一、二類樣本卷取下限，三類卷取上、下限。采取上述措施的結果，各類試卷的分布狀況有所改善：類別一二三四五百分比高考作文每年分值不同，為了便于比較，重新劃分分數(shù)段使之能與年相對應，結果如下：9129-359120-289112-19911-

6、119033-409023-329014-22901-13199110%46%36%8%90綜6%58%27%9%90綜11%62%22%5%從表中的數(shù)據(jù)可以看出，高分數(shù)段的情況沒有顯著變化，而第二檔次的人數(shù)有大幅度下降，第三檔的數(shù)字有明顯上升。從整體上看，打保險分，送“及格分的傾向有所抑制。再取同是采用分項評分法的年文科考生分與年全省考生抽樣統(tǒng)計的平均數(shù)、標準差、變差系數(shù)標準差平均分相比，結果如下：平均分標準差變差系數(shù)年總分值分總分值分統(tǒng)計說明，變差系數(shù)有所增加，即分數(shù)離散狀況好于前一年?！胺制琰c就是容易引起分歧的問題。每年閱卷，都可以發(fā)現(xiàn)“有的作文好評，有的作文難評現(xiàn)象。對于某些作文，評分

7、比較容易趨于一致，對于另一些作文，看法往往分歧。歸納、分析、研究這些評分差異較大的試卷，及時提出來討論，統(tǒng)一認識，納入樣本系列，是極其重要的。閱卷流程管理根據(jù)我國慣例，大規(guī)模作文考試通常在暑期或接近暑期進展。在高溫、大兵團突擊作戰(zhàn)的閱卷條件下，應該特別注意閱卷人員的生活安排和保健措施。就閱卷流程管理而言，要特別注意以下兩項工作：平衡投卷，控制速度閱卷速度必須均勻，前松后緊之類都必然擴大誤差?？紤]到閱卷員純熟程度不斷進步，可以先略慢后稍快，但各組之間必須同步前進。要嚴禁各組攀比速度，指導小組要掌握進度，但決不應公布進度，一公布必然對較慢的組產(chǎn)生壓力而滋生誤差。此外，假如閱卷人員之間存在著利害關系

8、互相競爭的學校、區(qū)縣等，試卷的投放還要注意流向，以免人為因素干擾。閱卷的速度與質量有直接關系，速度過快必然評估粗糙。由于目前實行的承包制以及閱卷數(shù)量與報酬掛鉤的原因，閱卷速度不斷加快。據(jù)理解，高考作文有的地區(qū)個別閱卷員的速度竟到達日份以上，在這種情況下，閱卷質量是無法得到保證的。承包制不適用于作文閱卷，必須予以解決。制訂行為準那么“多元評定法是減小各評閱者評分誤差的重要措施。根據(jù)賽蒙茲Symonds的研究，一組作文假設由兩人評定，其相關系數(shù)為，經(jīng)四人評定后再由另四人評定，那么相關系數(shù)可達，假設經(jīng)八人評定后再評定，相關系數(shù)可以增加到。目前，美國威斯曼的“快速印象法和英國倫敦教育研究所的實驗都要求

9、一份試卷經(jīng)四人評定。在我國，一般原那么上規(guī)定一份試卷應由兩人共評，要求已經(jīng)很低，但實際上仍無法做到。在這種情況下，應該就“對子行為作出一些規(guī)定，例如至少要求兩人先共評假設干份，分評后每天必須相互抽查各等級的作文假設干篇，發(fā)現(xiàn)問題及時磋商，并有相應的檢查措施，等等。這已經(jīng)是最低限度的要求。紀律松散、工作態(tài)度不嚴肅，是無法保證閱卷質量的。因此，還應當制訂?閱卷員守那么?，并且有相應的獎懲制度。對于不合格的閱卷人員必須堅決汰除。課題組各試驗省份都有被判“紅牌者，對維護閱卷的嚴肅性有良好的作用。監(jiān)測及復查由于這個問題的重要性，將在下文專門介紹。建立、健全監(jiān)測系統(tǒng)大規(guī)模作文考試假如沒有一個有效的監(jiān)測系統(tǒng)

10、，那么任何研究、條例和改進措施將毫無意義。我國長期慣用的“復查就是一種監(jiān)測方法，不過隨著科技手段的進步，監(jiān)測手段日益豐富，怎樣借助科技手段來開展監(jiān)測系統(tǒng)就成為人們研究的一個課題?？萍际侄螒糜谠u分監(jiān)測，有“隱形筆等注，不過目前主要是電腦。國外有利用電腦直接進展調(diào)控的，即以試卷中某些客觀性較強試題的得分為參照系，假如發(fā)現(xiàn)某地區(qū)或某閱卷員的主觀題給分與其它地區(qū)或其他閱卷員的評分平均值相比明顯偏低或偏高，可以通過數(shù)學方法加以調(diào)整。我國英語高考也曾采用過這種方法。但語文是一門綜合性很強的學科，其測試也屬于異質性測試，經(jīng)過屢次測算，各試題包括作文的得分之間沒有必然聯(lián)絡。即以寫作才能而論，母語和外語不同，

11、母語作文的才能層次要求大大高于外語，高層次能力如立意與低層次才能如書寫之間，得分也沒有必然聯(lián)絡。因此用其它試題作參照系的方法就作文評分而論是不科學的，也是不可取的。再就各閱卷員之間的評分來說，由于評分對象的差異例如一市集中閱卷，各區(qū)之間的程度就會有所不同，很難據(jù)此就作出“偏嚴、“偏松的判斷，假如驟然利用電腦直接調(diào)整，很難防止盲目調(diào)控。因此，至少就作文評分而言，機器只能及時發(fā)現(xiàn)問題，最后的裁斷還必須由人工專家來做出。當前，利用電腦監(jiān)測主要有以下幾種方法：指標監(jiān)測用以監(jiān)測的指標主要有“平均分和“標準差。平均分可以顯示出閱卷者給分有沒有偏高或偏低的問題；標準差顯示給分的離散程度，顯示出有沒有“打保險

12、分的趨向。將閱卷員每日每份試卷的給分及時輸入電腦，如有問題，就可以及時發(fā)現(xiàn)。參照系監(jiān)測由核心組先隨機抽閱一批試卷，將數(shù)據(jù)輸入電腦，以所形成的曲線作為參照系。參照系有允許浮動的一定幅度。閱卷員每日評分結果在圖形顯示上假如超越了幅度，電腦就能及時檢出以備復查?！鞍迭c監(jiān)測即由核心組隨機抽閱一批試卷，機密輸入電腦，閱卷員評此卷時，假如給分差距過大，就能及時發(fā)現(xiàn)檢出，顯示該閱卷員所評其它試卷也可能存在問題。本方法原理雖然簡單，但頗為有效。內(nèi)部相關監(jiān)測這是我國試驗分項評分時所創(chuàng)造的一種方法。其原理是各分項得分之間往往具有一定的相關性，由此設計了數(shù)學模型，把測算結果稱為U值。U值過大或過小，都可以提供信息供復查組審核、裁奪。此方法年在河北省試驗與指標監(jiān)測法同時采用，當年結果如下X撥為平均分為標準差：試卷增加分減少分增加分減少分平均每袋數(shù)數(shù)篇數(shù)數(shù)篇數(shù)數(shù)總和數(shù)總和袋改動X撥出線出線U值小U值大說明：平均分低于控制線的袋，經(jīng)復查，分數(shù)變