連續(xù)機(jī)率比檢定模式在國民小學(xué)教學(xué)評量上之應(yīng)用.doc

連續(xù)機(jī)率比檢定模式在國民小學(xué)教學(xué)評量上之應(yīng)用(本文發(fā)表於2003國際資訊教育研討會)丁子評臺中縣立益民國民小學(xué) .tw7論文摘要本研究主要是結(jié)合線上測驗技術(shù)、連續(xù)機(jī)率比檢定模式 (Sequential Probability Ratio Test，簡稱SPRT) 及傳統(tǒng)電腦化測驗(conditional computerize test，簡稱CCT)，以建構(gòu)一個線上精熟判定測驗系統(tǒng)，並以此系統(tǒng)實(shí)際應(yīng)用於國民小學(xué)班級教學(xué)評量的實(shí)務(wù)工作。研究結(jié)果顯示：一、SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(biāo)(Pa)來看，達(dá)0.86。若排除機(jī)遇因素，以係數(shù)來考驗，值為0.72，達(dá)到.01顯著水準(zhǔn)。由此可知兩模式對精熟判定具有高度的一致性。二、就兩模式的答題數(shù)來比較，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。三、再從兩模式的使用時間來比較，整體而言，SPRT模式在省時的效率上，比CCT模式節(jié)省約25%。四、SPRT的施測程序裡，伺服器所耗用的時間，僅占整個測驗時間的0.87%，施測過程十分流暢。因此，SPRT模式一個施測效率高、測驗結(jié)果可信的系統(tǒng)，很適合運(yùn)用於國民小學(xué)班級實(shí)務(wù)的教學(xué)評量中。關(guān)鍵字：線上測驗、連續(xù)機(jī)率比檢定(SPRT)、電腦化測驗(CCT)、教學(xué)評量。前言一、研究背景及動機(jī)近年來，由於電腦科技的進(jìn)步，以及適性化測驗理論的發(fā)展，使得電腦化適性測驗的理念得以落實(shí)到現(xiàn)行的教育環(huán)境。再加上民國八十八年，教育部推動資訊教育擴(kuò)大內(nèi)需方案，全面普及了國民小學(xué)的電腦教學(xué)設(shè)備，各學(xué)校的資訊設(shè)備已能符合一般需求。然而在目前而言，電腦化的施測模式，大多數(shù)屬於傳統(tǒng)電腦化測驗(conditional computerize test，簡稱CCT)，也就是紙筆測驗的電腦化。測驗介面雖然換成了電腦，但測驗的作答及計分方式仍不脫傳統(tǒng)紙筆測驗的範(fàn)疇，頂多增加了多媒體的呈現(xiàn)效果。此外，某些以研究為目的，發(fā)展出來的電腦化適性測驗系統(tǒng)，則大多採用現(xiàn)代測驗的理論中的試題反應(yīng)理論(Item Response Theory，簡稱IRT)，做為測驗?zāi)Ｊ降脑O(shè)計。不過以IRT為基礎(chǔ)的適性測驗，有其理論假定上的限制。例如，參數(shù)模式運(yùn)算的繁複及大量的樣本需求等。這樣的限制，在國民小學(xué)實(shí)際的班級教學(xué)評量上，有其運(yùn)用上的困難。另外還有一種連續(xù)機(jī)率比檢定 (Sequential Probability Ratio Test，簡稱SPRT)的測驗?zāi)Ｊ剑琒PRT模式只適於精熟判定的測驗，測驗結(jié)果僅區(qū)分精熟與未精熟兩個結(jié)果。其理論淺顯易懂，使用上限制較少，且不需繁複的計算過程，適合用在一般的班級教學(xué)評量上。且以班級教學(xué)情境而言，教師能了解學(xué)生是否達(dá)到預(yù)定的學(xué)習(xí)成效，比估算學(xué)生之間的成績高低來得重要。職是之故，本研究準(zhǔn)備利用連續(xù)機(jī)率比檢定模式，來建置一個可以在校園網(wǎng)路線上施測的測驗環(huán)境，並與傳統(tǒng)電腦化測驗?zāi)Ｊ奖容^，分析兩者在精熟判定上之一致性及施測效率。以期能建置一個節(jié)省時間與人力，且具測驗效率測驗環(huán)境。二、研究目的本研究將建置一個可以在網(wǎng)際網(wǎng)路上施測的精熟判定測驗系統(tǒng)，以期用省時、便利又兼顧個別化的測驗方式，達(dá)到診斷學(xué)生學(xué)習(xí)成效及評定學(xué)生學(xué)習(xí)成就的目的。並且從中探究，SPRT模式與CCT模式在精熟判定上之一致性及SPRT模式之使用效率為何？文獻(xiàn)探討一、連續(xù)機(jī)率比檢定模式連續(xù)機(jī)率比檢定(Sequential Probability Ratio Test；簡稱SPRT)，是於1947年由Wald所發(fā)展出來的一種連續(xù)性分析的決策模式。早期是用於第二次世界大戰(zhàn)時，美國軍備製造之品質(zhì)管制上。1969年時，F(xiàn)erguson首次將其應(yīng)用於教育測驗的領(lǐng)域，用來判定學(xué)生在電腦化精熟測驗(mastery testing)上，精熟或未精熟(mastery or non-mastery)的決策模式。(一)SPRT模式原理SPRT模式的運(yùn)作原理，是基於對受試者答題能力可能性(likelihood)的一種估計，且這個估計值，要拿來與兩個假設(shè)比較。這兩個假設(shè)，一個是精熟者的最低能力值，另一則是未精熟者的最高能力值。如果這兩個能力值的可能性估計，有其中一個的可能性機(jī)率很明顯的大於另一個，則受試者的能力將被判定。若能力估計值落於兩者之間，則能力估計將繼續(xù)進(jìn)行下去。整個模式其假設(shè)及決策過程如下(莊智陵，民89)：SPRT模式的兩大假設(shè) 其中Hm:受試者精熟的假設(shè)；Hnm:受試者未精熟的假設(shè)；P：受試者答對題目的機(jī)率；Pm：精熟標(biāo)準(zhǔn)；Pnm：未精熟標(biāo)準(zhǔn)。當(dāng)Hm假設(shè)成立時，即表示達(dá)到精熟的標(biāo)準(zhǔn)；反之，Hnm假設(shè)成立時，表示未達(dá)到精熟的標(biāo)準(zhǔn)。以上任何一種假設(shè)成立時，測驗隨即終止。而實(shí)際上，SPRT的檢定，是採用受試者連續(xù)答對題目的機(jī)率與連續(xù)答錯題目的機(jī)率之比值，來與依據(jù)事先設(shè)定之第一類型錯誤(Type I error)及第二類型錯誤(Type II error)，所計算出來之精熟、未精熟決斷點(diǎn)作比較。上述的各項機(jī)率及計算方法，可用下列公式來說明(李源煌，民84)：L(X1,X2,X3,Xn|1)=P(Xi|1) 公式(1)L(X1,X2,X3,Xn|0)=P(Xi|0) 公式(2)L(X1,X2,X3,Xn|1)=P(Xi|1)L(X1,X2,X3,Xn|0)=P(Xi|0)=公式(3) 公式(3)upper decision point= A = 公式(4)lower decision point= B = 公式(5)上述公式中：(1)為具備精熟能力(1)者，連續(xù)答對題目之機(jī)率、(2)為能力未精熟()者，連續(xù)答錯題目之機(jī)率、(3)為受試者連續(xù)答對與答錯題目之機(jī)率比值、(4)為判定受試者為精熟者之決斷點(diǎn)、(5)為判定受試者為未精熟者之決斷點(diǎn)。:Type I error，表示受試者雖被判定為精熟，但實(shí)際上為不精熟的可能性。: Type II error，表示受試者雖被判定為不精熟，但實(shí)際上為精熟的可能性。若值明顯大於，則受試者將被判定為精熟者；若值明顯小於，則受試者將被判定為未精熟者從上述的公式可看出，SPRT模式運(yùn)作的原理是要估計受試者連續(xù)答題的答對與答錯機(jī)率，並且與兩個相互對立的假設(shè)做比較。在實(shí)際計算時，由於在施測第一題前，對受試者的精熟估計並無任何依據(jù)，因此其先前精熟與不精熟的估計均設(shè)為0.5，且當(dāng)試題的反應(yīng)結(jié)果符合二項式分配(每題只有答對及答錯兩種結(jié)果)時，則計算程序可簡化如下式(修改自Reckase,1981,1983)：公式(6) LR：受試者連續(xù)答對與答錯題目的機(jī)率比值Pm：精熟者答對題目的可能性Pnm：未精熟者答對題目的可能性r :受試者目前答題情形，答對則r=1，否則r=0。w:受試者目前答題情形，答錯則w=1，否則w=0。當(dāng)LR值夠大時，就接受Hm；若夠小，則接受Hnm。而決定LR值是否夠大或夠小，就取決於、的設(shè)定。當(dāng)、確定之後，便可訂出精熟決斷點(diǎn)(upper decision point for mastery; UDP)及未精熟決斷點(diǎn)(lower decision point for nonmastery; LDP)。(三)SPRT模式的特性與限制SPRT模式具有下列兩項特點(diǎn)：1.不考慮試題的特徵參數(shù)，例如：難度、鑑別度、猜測度等。2.不需依據(jù)受試者的成就水準(zhǔn)選擇試題，而採用隨機(jī)選題。(Frick,1989;Plew,1989)而根據(jù)模擬研究的結(jié)果顯示(李源煌，民84)：1. 即使題目難度同質(zhì)，但當(dāng)難度均偏向太難或太容易時，SPRT模式就不能作出正確決策。2. 排除上述一之因素，當(dāng)題目的難度增加時，SPRT愈具決策效率。3. 當(dāng)測驗題目不是同質(zhì)時，設(shè)定=.05 =.20且未決策區(qū)(Pm-Pnm)=.20時，SPRT仍可作出正確決策。 因此，SPRT可以說是一種有效的決策理論，僅需以較少的題目即可判定受試者是否達(dá)到精熟。對精熟受試者而言，總答題數(shù)將會比答完全部試題少得多；而對未精熟者而言，更不用浪費(fèi)時間在盲目的猜測上。因此僅需以較少的題目即可判定學(xué)生學(xué)習(xí)是否精熟。不過，SPRT模式仍有其先天上的限制：1. 只適用於精熟與未精熟的判定，無法具體估計每一位受試者的成就等級。2. 當(dāng)受試者能力不呈常態(tài)分佈時，SPRT會出現(xiàn)較大的測量誤差(莊智陵，民89)。然而SPRT模式，雖只將受試者能力分為精熟與未精熟兩個區(qū)段，測驗結(jié)果僅決定受試者的能力位於哪一個區(qū)間(莊智陵，民89)。但若只是要驗證單元教學(xué)成果，或評定學(xué)生學(xué)習(xí)成效，作為是否進(jìn)行下一單元教學(xué)或?qū)嵤┭a(bǔ)救教學(xué)的參考時，SPRT模式是一套簡易、經(jīng)濟(jì)且有效的測驗?zāi)Ｊ健６?、電腦化線上測驗(一)線上測驗的發(fā)展現(xiàn)況目前國內(nèi)建置在網(wǎng)際網(wǎng)路上，有關(guān)學(xué)生學(xué)習(xí)評量之線上測驗系統(tǒng)或網(wǎng)站，數(shù)量非常的多。研究者以線上測驗為關(guān)鍵字，利用Google蒐尋引擎(民91年11月2日)查詢國內(nèi)網(wǎng)站的相關(guān)資訊，針對線上測驗的實(shí)施方式來分析，可整理如表1。表1 國內(nèi)線上測驗網(wǎng)站採用之測驗?zāi)Ｊ礁艣r表測驗?zāi)Ｊ骄W(wǎng)站名稱模式模式模式智慧型線上適性測驗系統(tǒng)OO多媒體線上測系統(tǒng)OO線上適性測驗系統(tǒng)OO線上測驗服務(wù)中心OO實(shí)踐國小線上測驗OO國小音樂科教學(xué)資源中心測驗題庫OO士林高商線上測驗OO從表2-2的分析可以看出，目前國內(nèi)線上測驗的模式，屬於傳統(tǒng)紙筆測驗的電腦化的模式居多，這部分大都開放給一般使用者試用；採用IRT模式者較少，且未普遍開放給一般使用者試用，多屬研究者之研究工具；採用SPRT模式者，在筆者整理時，尚未發(fā)現(xiàn)。(二)線上測驗的開發(fā)技術(shù)1.全球資訊網(wǎng)由於現(xiàn)代網(wǎng)際網(wǎng)路技術(shù)的成熟，電腦強(qiáng)大的運(yùn)算能力與網(wǎng)路無遠(yuǎn)費(fèi)屆的特性，大大提供了線上測驗的可行性。其中全球資訊網(wǎng)(World Wide Web，簡稱WWW)的功能，為線上測驗提供了一個完善的介面。瀏覽器與Web伺服器之間的基本運(yùn)作結(jié)構(gòu)，可用圖1來表示。Web伺服器瀏覽器發(fā)出請求Web伺服器傳遞資料瀏覽器 圖1 瀏覽器與Web伺服器運(yùn)作圖不過原始的HTML文件，只是單向的傳送資訊，並無法與使用者產(chǎn)生互動。 2.動態(tài)伺服器網(wǎng)頁然而自從Microsoft發(fā)展出動態(tài)伺服器網(wǎng)頁(Active Serve Page，簡稱ASP)的技術(shù)後，使得網(wǎng)頁不僅可以俱備互動式的功能，且可以依使用者的需求產(chǎn)生動態(tài)網(wǎng)頁，大幅提高WWW網(wǎng)頁系統(tǒng)開發(fā)之效率(李連順，民89)。ASP是一種執(zhí)行於伺服器端的指令，並不能夠單獨(dú)存在，它必須要配合Web伺服器來運(yùn)作，通常均與Microsoft Windows NT/2000的Internet Information Server(IIS)搭配使用。當(dāng)Web伺服器接到來自用戶端的檔案要求時，它便會先處理檔案中的ASP指令，然後建構(gòu)出一個HTML檔案送回用戶端。ASP指令除了可以讓網(wǎng)頁具有互動的功能外，它也允許使用Active Data Object(簡稱ADO物件)的技術(shù)，透過ADO物件的功能，便能很方便的來存取符合ODBC或OLE DB標(biāo)準(zhǔn)的資料庫。綜合以上，ASP的功能有下列幾點(diǎn)：(1)ASP指令可以在伺服器內(nèi)部處理後，再送到用戶端，可以使程式碼具有保密性。(2)ASP提供內(nèi)建物件，有五大物件可供使用，並可以與IIS緊密結(jié)合，使系統(tǒng)開發(fā)更容易(陳宗興，民86)。(3)使用戶端的平臺相容單純化，具有跨平臺、跨瀏覽器的好處。(4)具有良好的安全性與執(zhí)行效率(李連順，民89)。(5)讓使用者更方便使用資料庫。研究設(shè)計一、系統(tǒng)架構(gòu)本測驗系統(tǒng)分為系統(tǒng)管理、題庫預(yù)試、學(xué)生受測三個主要部分。各部分之功能架構(gòu)可用圖2來表示。圖2 SPRT & CCT施測系統(tǒng)架構(gòu)圖二、研究工具(一)電腦硬體設(shè)備需求：本系統(tǒng)實(shí)際運(yùn)作執(zhí)行之Web伺服器設(shè)備，規(guī)格如下：(1)CPU為Intel Pentium 350；(2)RAM為128MB；(3)Harddisk容量為10GB；(4)區(qū)域網(wǎng)路為100MB之Ethernet，對外為ADSL。(二)國小五年級上學(xué)期自然科學(xué)素養(yǎng)測驗題庫為配合實(shí)際教學(xué)情境，筆者依據(jù)康軒版國小自然科第九冊生活中的酸與鹼單元，依其教學(xué)目標(biāo)編製小範(fàn)圍之國小五年級上學(xué)期自然科學(xué)素養(yǎng)測驗題庫，以做為系統(tǒng)施測時之測驗題庫。試題主要以測量自然科學(xué)認(rèn)知能力為主，每題均為四選一之單選題，原編擬43題，經(jīng)預(yù)試後保留30題。三、資料處理(一)試題分析採用精熟組與未精熟組比較之鑑別度指標(biāo)，其計算公式如下：其中為鑑別度指標(biāo)，、分別為精熟組與未精熟組受試者的答對百分率(余民寧，民86)。本題庫經(jīng)預(yù)試後，保留值在.20.80之間的試題，作為系統(tǒng)施測時之試題。 (二)正式施測1.精熟判定一致性分析:採用百分比一致性指標(biāo)及係數(shù)來分析SPRT與CCT模式在判定上的一致性。2.效率分析：(1)比較受試者在SPRT與CCT的施測模式上之平均作答時間與答題數(shù)。(2)比較SPRT與CCT模式的電腦運(yùn)作時間。施測結(jié)果與討論一、運(yùn)作效能系統(tǒng)運(yùn)作效能測試，是利用臺中縣某國小的電腦教室實(shí)施，測驗系統(tǒng)伺服器亦架設(shè)在該國小內(nèi)。施測時，同時有卅二卅四人上機(jī)受測，其系統(tǒng)運(yùn)作效能分析如表2所示：表2 系統(tǒng)運(yùn)作效能分析表施測模式比較項目SPRT模式CCT模式受試者平均總受測時間(秒)353.51467.73伺服器運(yùn)作時間(秒)3.060.20伺服器運(yùn)作時間占用之百分比0.87%0.04%受試者端接收延遲或等待情形無延遲無延遲從表2的運(yùn)作結(jié)果可以看出，伺服器端在整個施測過程中，占用的時間非常少。在SPRT模式中，只占0.87%，在CCT模式中更僅占0.04%。加上由於是在區(qū)域網(wǎng)路內(nèi)傳輸資料，對使用者而言，幾乎感覺不到網(wǎng)路傳輸延遲的情況，在系統(tǒng)的運(yùn)作上可說是十分流暢。二、施測結(jié)果系統(tǒng)建置完成後，對臺中縣某國小五年級327名學(xué)生進(jìn)行施測。題庫總試題數(shù)為30題，施測後實(shí)際有效的登錄成績有307筆，其受測結(jié)果分述如下：(一)SPRT與CCT判定一致性之結(jié)果比較利用SPRT與CCT模式對受試者施測後，受試者在兩模式的測驗結(jié)果如表3所示。表3 SPRT與CCT模式之測驗結(jié)果SPRTCCT精熟未精熟合計精熟14037177未精熟6124130合計146161307Pa0.46+0.40=0.86從上表可得知，兩模式判定之百分比一致性指標(biāo)(Pa)為0.86。若要排除機(jī)遇的成份，則以係數(shù)來考驗，結(jié)果如表4所示。表4 測驗結(jié)果之Kappa統(tǒng)計量數(shù)表Pc=0.27+0.22=0.49=0.72p.01從表4可知，排除機(jī)遇因素後，兩者判定結(jié)果達(dá)到百分之七十二的一致性；其一致性達(dá)到.01之顯著水準(zhǔn)。(二)作答題數(shù)比較結(jié)果在SPRT模式中，大部分的受試者(占76.9%)並未答完所有試題，便已被判定為精熟或未精熟，不過仍有71位受試者(占23.1%)至答完全部試題後，才接受判定。SPRT與CCT模式受試者作答題數(shù)比較，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數(shù)的效率上，更比CCT模式高出約44%。(三)作答時間比較結(jié)果SPRT與CCT模式受試者作答時間比較，整體而言，SPRT模式在省時的效率上，比CCT模式節(jié)省約25%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數(shù)的效率上，更比CCT模式節(jié)省約38%。結(jié)論與建議一、結(jié)論(一)系統(tǒng)效率據(jù)系統(tǒng)實(shí)際施測的結(jié)果，在整個SPRT的施測時間裡，伺服器所占用的時間僅有0.87%，施測過程十分流暢。(二)模式比較1.精熟判定一致性SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(biāo)(Pa)來看，達(dá)0.86。若排除機(jī)遇因素，以係數(shù)來考驗，值為0.72，達(dá)到.01顯著水準(zhǔn)。由此可知兩模式對精熟判定具有高度的一致性。2.答題數(shù)比較以SPRT模式施測時，有76.9%的受試者，不須答完全部試題，系統(tǒng)便能判定其精熟類別，整體而言，SPRT模式在答題數(shù)的效率上，比CCT模式高出約34%。3.使用時間比較整體而言，SPRT模式在省時的效率上，比CCT模式節(jié)省約25%?？偠灾?，從實(shí)際的施測結(jié)果來看，SPRT模式與CCT模式的判定結(jié)果一致性非常高，而在使用時間、作答題數(shù)上，SPRT模式的效率均優(yōu)於CCT模式。二、建議(一)應(yīng)用建議本研究所發(fā)展的線上精熟判定系統(tǒng)，經(jīng)研究結(jié)果顯示，是一個施測效率高且測驗結(jié)果可信的系統(tǒng)，很適合用於國民小學(xué)班級實(shí)務(wù)的教學(xué)評量中。然因研究本身的限制，雖能在網(wǎng)際網(wǎng)路上運(yùn)作，但是受限於網(wǎng)路傳輸?shù)牟环€(wěn)定性，及受試者身份難以認(rèn)證的問題，故目前僅適用於在區(qū)域網(wǎng)路的電腦教室內(nèi)，在有教師監(jiān)控的情況下實(shí)施。將來若能克服上述兩個問題，達(dá)到即時群測與隨時點(diǎn)測的雙重功能，則更能發(fā)揮線上測驗的功效。(二)未來研究方向本研究僅使用單一個題庫同時進(jìn)行兩種模式的精熟判定測驗，雖在第一階段的測驗中並未公布答案，然對第二階段的答題時間而言，應(yīng)會造成某一程度的影響，未來若能發(fā)展出複本題庫，利用複本題庫分別進(jìn)行兩個模式的精熟判定測驗，當(dāng)更能精確比較出兩模式的運(yùn)作效率。參考文獻(xiàn)一、中文部分士林高商線上測驗網(wǎng)站(民91年)。民91年11月2日，取自.tw/bintest/古松民(民89)。線上適性測驗系統(tǒng)網(wǎng)站。民91年11月2日，取自93/cat/多媒體線上測系統(tǒng)網(wǎng)站(民91)。民91年11月2日，取自40/olt/余民寧(民86)。教育測驗與評量。臺北市：心理出版李連順(民89)。國中生活科技線上測驗系統(tǒng)發(fā)展研究。國立高雄師範(fàn)大學(xué)工業(yè)科技教育學(xué)系碩士論文。李源煌(民84)。效標(biāo)參照測驗之題目難度分配型態(tài)對循序漸進(jìn)機(jī)率比率決策模式(SPRT)判別學(xué)生學(xué)習(xí)精熟或未精熟之影響。測驗?zāi)昕?2輯，415-430頁。國小音樂科教學(xué)資源中心測驗題庫網(wǎng)站(民91年)。民91年11月2日，取自.tw/music/test.htm國立臺南師範(fàn)學(xué)院資訊教育研究所(民89)。智慧型線上適性測驗系統(tǒng)網(wǎng)站。民91年9月15日，取自.tw/play/default.php3康軒文化有限公司(民90年)。國小自然第九冊課本、習(xí)作、教學(xué)指引。臺北：康軒文化有限公司。莊智陵(民89)。SPRT電腦適性測驗對國中學(xué)生受測態(tài)度影響之研究以中山國中二年級為例。私立淡江大學(xué)教育科技學(xué)系碩士論文。陳宗興(民86)。Visual InterDev學(xué)習(xí)手冊。臺北市：松崗電腦圖書公司。實(shí)踐國小(民91)。實(shí)踐國小線上測驗網(wǎng)站。民91年9月15日，取自.tw/linea.htm線上測驗服務(wù)中心網(wǎng)站(民91)。民91年11月2日，取自/二、英文部分Ferguson, R. (1969). Computer-assisted criterion-referenced measurement (Report WP-41).Pittsburgh: Pittsburgh University, Learning Research and Development Center.Frick, T. (1989). Bayesian adaptation during computer-based