【世界銀行】從黑板到聊天機(jī)器人

WORLDBANKGROUP ,以支持學(xué)生在六周內(nèi)進(jìn)行英語語言學(xué)習(xí)。干預(yù)措及初始學(xué)業(yè)成績較高的學(xué)生身上。研究結(jié)果人工智能輔助教學(xué)，在設(shè)計和使用得當(dāng)?shù)那椤１疚氖墙逃虿块T的成果。這是世界銀行更大范圍提供研究開放獲取并促進(jìn)全球從粉筆到聊天機(jī)器人：評估生成式人工智能對尼日利亞′?關(guān)鍵詞：大型語言模型、自適應(yīng)學(xué)習(xí)、人工智能、教育技術(shù)、中學(xué)教育、因材施教。JEL分類：C93,I21,J24,O15,O33.*團(tuán)隊感謝世界銀行的謝爾扎達(dá)·拉蒂夫和哈里勒·敦達(dá)爾教育實踐經(jīng)理。團(tuán)隊對喬恩·奧薩·奧維韋博士和詹妮弗·艾蘇安的協(xié)作表示感謝。在整個試點實施期間，以及感謝AlexTwinomugisha、RobertHawkins和CristobalCobo對干預(yù)措施提供的支持。該團(tuán)隊感謝為該論文的先前版本提供評論的人員，包括DavidEvans、HalseyRogers、CarolinaLoRodriguez-Segura、NoahYarrow、JuanBaron和LucasGortazar。該團(tuán)隊承認(rèn)獲得了MastercardFound2全球教育領(lǐng)域正面臨學(xué)習(xí)危機(jī)。根據(jù)學(xué)習(xí)貧困指數(shù)，低收入和中等收入國家的約70%的10歲兒童無法閱讀和理解適齡文本。世界銀行,2022).這些學(xué)習(xí)上的差距不斷累積，并在中學(xué)階段變得尤為突出，這一點有大量的國際、區(qū)域和國家評估作為佐證。在他具有里程碑意義的1984年研究中，Bloom證明接受一對一輔導(dǎo)的學(xué)生平均比在傳統(tǒng)課堂環(huán)境中的同齡人表現(xiàn)優(yōu)異兩個標(biāo)準(zhǔn)差。Bloom,1984).后續(xù)研究一致證實了一對一輔導(dǎo)的顯著益處(Nickow等人,2020然而，挑戰(zhàn)在于大規(guī)模實施一對一輔導(dǎo)既成本高昂，大多數(shù)教育系統(tǒng)也難以負(fù)擔(dān)。布魯姆將這一挑戰(zhàn)稱為“兩西格瑪問題”：如何在具有成本效益的方式下，大規(guī)模復(fù)制個性化輔導(dǎo)的收益。本文探討了生成式人工智能，特別是大型語言模型（LLM），是否能夠幫助解決該問題。我們評估了尼日利亞一項為期六周的課外輔導(dǎo)項目，該項目使用公開可用的LLM（ChatGPT-4）來支持學(xué)生學(xué)習(xí)英語。來自貝寧城九所公立學(xué)校的一年級中學(xué)生被邀請參加；在這批學(xué)生中，52%的合格學(xué)生表達(dá)了興趣，參與者從中隨機(jī)選取。被分配到干預(yù)組的參加者在計算機(jī)實驗室參加了十二次90分鐘的課程，并在教師的指導(dǎo)下參與與課程相關(guān)的活動。我們采用隨機(jī)對照試驗（RCT）設(shè)計來估計該項目對學(xué)習(xí)成果的因果影響。我們呈現(xiàn)了三組主要結(jié)果。首先，我們發(fā)現(xiàn)被選入?yún)⑴c該項目的學(xué)生的最終評估成績比干預(yù)結(jié)束后交付的評估高出0.31個標(biāo)準(zhǔn)差。我們發(fā)現(xiàn)該評估的所有部分都存在強(qiáng)烈的統(tǒng)計顯著意向治療（ITT）效應(yīng)：英語技能（其中包含大部分問題，0.24σ),數(shù)字技能(0.14σ),人工智能技能(0.31σ)和每位學(xué)生考試的項目反應(yīng)理論（IRT）復(fù)合分?jǐn)?shù)（0.26σ)。我們還證明，干預(yù)措施在第三學(xué)期的常規(guī)英語課程考試中產(chǎn)生了強(qiáng)有力的積極結(jié)果。這個結(jié)果很重要，因為考試中評估的內(nèi)容比干預(yù)期間所涵蓋的內(nèi)容更廣泛，并且包括了全年的內(nèi)容。我們計算了入選該項目的干預(yù)效應(yīng)（ITT效應(yīng)）對第三學(xué)期考試成績的影響為0.21個標(biāo)準(zhǔn)差。其次，我們檢驗了由某些預(yù)處理特征引起的效應(yīng)異質(zhì)性。3處理效應(yīng)在所有基線績效水平上均為正且具有統(tǒng)計顯著性，但在先前表現(xiàn)較好的學(xué)生中更為顯著。類似地，處理效應(yīng)在整個社會經(jīng)濟(jì)地位代理指標(biāo)分布上均為正且具有統(tǒng)計顯著性，但在社會經(jīng)濟(jì)地位較高學(xué)生中更為顯著。最后，處理效應(yīng)在女學(xué)生中更為顯著，彌補(bǔ)了她們基線績效的不足。第三，我們開展劑量反應(yīng)分析。我們估計局部平均處理效應(yīng)（LATE）估計值，重點關(guān)注實際參與干預(yù)課程的影響，治療組平均參與率為72%。利用參與數(shù)據(jù)，我們估計劑量反應(yīng)關(guān)系，發(fā)現(xiàn)參與天數(shù)與學(xué)習(xí)成果改善之間存在強(qiáng)烈的線性關(guān)聯(lián)，每增加額外一天參與的效果量約為0.031個標(biāo)準(zhǔn)差。進(jìn)一步分析預(yù)測，延長項目時長將帶來顯著收益，估計參與一整學(xué)年（取決于參與率）可使效果提升1.2至2.2個標(biāo)準(zhǔn)差。研究結(jié)果結(jié)合成本分析表明，該計劃具有很高的成本效益。為期六周的試點項目產(chǎn)生了相當(dāng)于常規(guī)情況下1.5至2年學(xué)習(xí)收益的提升。該計劃每投入100美元可產(chǎn)生3.2個等效學(xué)習(xí)年（EYOS），超越了眾多可比干預(yù)措施。以學(xué)習(xí)調(diào)整學(xué)習(xí)年（LAYS）作為分析指標(biāo) ,該計劃可產(chǎn)生高達(dá)0.9年的高性能教育年。與來自低收入和中等收入國家的證據(jù)進(jìn)行基準(zhǔn)比較時，該試點計劃位列解決學(xué)習(xí)危機(jī)最具成本效益的解決方案之中。我們的研究為旨在識別試圖根據(jù)學(xué)生水平定制教學(xué)（無論使用技術(shù)與否）的項目的效果的文獻(xiàn)的不同分支做出了貢獻(xiàn)。為應(yīng)對這一挑戰(zhàn)所做的努力包括開發(fā)“適切教學(xué)水平”（TaRL）方法，該方法已證明在印度、肯尼亞、加納和贊比亞等環(huán)境中能夠提高學(xué)習(xí)成果（Banerjee等人,2016).TaRL的實施方式varied，從將學(xué)生從課堂中帶出(Banerje于TaRL項目具有勞動密集型的特點，擴(kuò)大這些項目仍然具有挑戰(zhàn)性。這一挑戰(zhàn)在全球教anerjee等人,2016),以及雇用志愿者而不是教師(Banerjee等人,2008).然而，于TaRL項目具有勞動密集型的特點，擴(kuò)大這些項目仍然具有挑戰(zhàn)性。這一挑戰(zhàn)在全球教師短缺的情況下尤為突出，尤其是在撒哈拉以南非洲地區(qū)。最近估計表明，到2040年，該地區(qū)的國家每年將需要增加21%的中學(xué)教師(EvansandMendezAcosta,即將到來).教師短缺是 4進(jìn)一步加劇了高離職率問題，并且二級水平所需的專業(yè)知識需求使得TaRL項目實施更加近年來，適應(yīng)性學(xué)習(xí)軟件通過利用技術(shù)模擬一對一輔導(dǎo)，已成為解決輔導(dǎo)項目可擴(kuò)展性問題的潛在方案。研究表明，計算機(jī)適應(yīng)性學(xué)習(xí)系統(tǒng)可以提升學(xué)習(xí)成果。例如，一項針對印度中學(xué)生個性化技術(shù)輔助課后教學(xué)的研究報告稱，在4.5個月期間，數(shù)學(xué)成績提升了0.37個標(biāo)準(zhǔn)差，哈里語成績提升了0.23個標(biāo)準(zhǔn)差（Muralidharan等人,2019一個埔寨針對小學(xué)生數(shù)學(xué)教學(xué)的研究發(fā)現(xiàn)，由于學(xué)生每小時的學(xué)習(xí)效率提高，對認(rèn)知技能產(chǎn)2021).在薩爾瓦多，用于適應(yīng)性學(xué)習(xí)的軟件被證明是有效的。環(huán)境具有異構(gòu)類別和資質(zhì)較差的教師(Buchel等人,2022).中國的實驗也發(fā)現(xiàn)對標(biāo)準(zhǔn)規(guī)學(xué)校時間內(nèi)實施的情況（Mo等,2014).在厄瓜多爾，使用適應(yīng)性學(xué)習(xí)軟件四個月的可能性導(dǎo)致了數(shù)學(xué)標(biāo)準(zhǔn)化考試成績的顯著正面影響（Angel-Urdinola等人,2023).其他沒有采用實驗方法的研究也估計了類似軟件程序的正效應(yīng)，例如烏拉圭的一個項目顯示數(shù)學(xué)測試分?jǐn)?shù)提高了0.2個標(biāo)準(zhǔn)差（Perera和Aboal,2019). 盡管取得了這些成功，適應(yīng)性學(xué)習(xí)項目仍面臨若干挑戰(zhàn)。首先，大多數(shù)項目并未部署在世界最具挑戰(zhàn)性的教育環(huán)境中，特別是在撒哈拉以南非洲地區(qū)，這引發(fā)了對外部效度的疑問。其次，這些項目通常依賴專有軟件，其中既包括固定成本也包含按學(xué)生計算的成本，這使得它們在資源受限的環(huán)境中難以規(guī)?；茝V。一些自適應(yīng)學(xué)習(xí)方案利用人工智能（AI）來調(diào)整以適應(yīng)學(xué)生的水平，但它們主要依賴于模式識別和預(yù)測算法，根據(jù)包含數(shù)千個項目的題庫為學(xué)生提供與其水平相符的練習(xí)。生成式人工智能的最新進(jìn)展為使用軟件教學(xué)提供了一個有前景的途徑，同時通過使用自然語言與學(xué)生保持更類人的互動。大多數(shù)考察教育領(lǐng)域中生成式AI的研究都已在發(fā)達(dá)國家和實驗室環(huán)境中進(jìn)行，評估了短期互動的影響（Kumaretal.,2023).在意大利，研究發(fā)現(xiàn)大型語言模型（LLMs）通過作業(yè)支持對學(xué)習(xí)成果有積極影響（Vanzo等人,2024).In 5美國，一種人類-AI方法，通過語言模型提供專家指導(dǎo)來支持導(dǎo)師，而不是直接為學(xué)生提供幫助，發(fā)現(xiàn)隨機(jī)分配獲得導(dǎo)師副駕駛服務(wù)的數(shù)學(xué)學(xué)生更有可能掌握課題（Wangetal.,2024).一項在哈佛大學(xué)本科生中開展的研究顯示，在家使用AI輔導(dǎo)工具的學(xué)生表現(xiàn)優(yōu)于僅接受主動學(xué)習(xí)課程的學(xué)生(Kestin等人,2024). 僅有少數(shù)研究評估了生成式AI在輔導(dǎo)學(xué)生方面的效果。在加納，每周獲得一小時手機(jī)訪問權(quán)限并被允許通過短信應(yīng)用使用AI驅(qū)動的數(shù)學(xué)輔導(dǎo)工具進(jìn)行獨(dú)立數(shù)學(xué)學(xué)習(xí)的學(xué)生，其成績提升幅度遠(yuǎn)超未獲得訪問權(quán)限的學(xué)生，其效應(yīng)量為¨0.36(Henkeletal.,2024).一項最近在土耳其進(jìn)行的研究表明，包含僅四次的干預(yù)措施顯示，雖然大型語言模型（LLMs）可以改善數(shù)學(xué)學(xué)習(xí)成果，但如果它們被用作“拐杖”而非導(dǎo)師，則可能在長期內(nèi)對學(xué)習(xí)產(chǎn)生不利影響（Bastani等人,2024).在實驗室環(huán)境下進(jìn)行編碼課程時，也發(fā)現(xiàn)了類似的效果。Lehmannetal.,202,在使用旨在保護(hù)學(xué)習(xí)的提示來配合大型語言模型時，產(chǎn)生了更積極的影響。Bastani 因此，本文通過在南撒哈拉地區(qū)采用真實實驗設(shè)計，考察了在發(fā)展中國家背景下運(yùn)用大型語言模型（LLMs）進(jìn)行教育目的的早期項目之一的影響，從而為近期相關(guān)文獻(xiàn)做出了貢獻(xiàn)。本文旨在解決近期關(guān)于LLMs對學(xué)習(xí)效果影響新興研究綜述中識別出的一些挑戰(zhàn)：缺乏客觀指標(biāo)來補(bǔ)充主觀評估的影響，以及控制組和實驗組定義的不足（Weidlichetal.,2025),以及缺乏功率分析來確定適當(dāng)?shù)臉颖玖浚―engetal.2024).此外，所使用的干預(yù)措施是一個免費(fèi)的現(xiàn)成模型，僅需最少的定制化，并且沒有預(yù)構(gòu)建的題庫，這可能有助于其可擴(kuò)展性。此項干預(yù)措施的調(diào)查結(jié)果強(qiáng)調(diào)了針對發(fā)展中國家，特別是撒哈拉以南非洲地區(qū)學(xué)習(xí)危機(jī)所包含的若干關(guān)鍵政策啟示。該計劃在學(xué)習(xí)成果方面展現(xiàn)出顯著影響，即使面臨互聯(lián)網(wǎng)中斷和停電等挑戰(zhàn)，突顯其在師資嚴(yán)重短缺和資源受限環(huán)境下的潛力。采用大型語言模型的AI輔導(dǎo)項目可通過提升教師生產(chǎn)力和提供個性化學(xué)習(xí)體驗來補(bǔ)充傳統(tǒng)教學(xué)，尤其在與指導(dǎo)性提示、教師監(jiān)督及課程內(nèi)容相協(xié)調(diào)時更顯有效。該干預(yù)措施的成本效益和可擴(kuò)展性前景可觀，通過利用本地員工和免費(fèi)工具實現(xiàn)。6以最小化成本為前提，同時消除傳統(tǒng)自適應(yīng)軟件所需的大量題庫。然而，政策制定者必須解決因數(shù)字素養(yǎng)差異和技術(shù)獲取不均而產(chǎn)生的潛在不平等問題。在基礎(chǔ)設(shè)施、教師培訓(xùn)和包容性數(shù)字教育方面的投資對于確保公平獲取和降低加劇不平等風(fēng)險至關(guān)重要。鑒于大型語言模型在教育領(lǐng)域的應(yīng)用尚處萌芽階段，仍有諸多問題懸而未決，這也突顯了復(fù)制本研究（包括進(jìn)行微小變體）的重要性。4討論成本效益，提出未來研究方向，并闡述政策啟示。本文其余部分的結(jié)構(gòu)安排如下。第2描述了干預(yù)措施和實驗設(shè)計，包括所使用的數(shù)據(jù)。第34討論成本效益，提出未來研究方向，并闡述政策啟示。該研究分析了在遵循國家課程、每周兩次與大型語言模型互動以提升英語技能的課后項目的影響。該干預(yù)措施在尼日利亞的貝寧城實施，當(dāng)時使用的是由GPT-4模型驅(qū)動的Copilot（一種LLM）。1該計劃于2024年6月至7月期間，歷時六周實施，目標(biāo)群體為通常為15歲的一年級高中生。2干預(yù)旨在利用AI聊天機(jī)器人為虛擬導(dǎo)師，提升英語課堂的學(xué)習(xí)效果。所選工具為MicrosoftCopilot，由ChatGPT-4驅(qū)動，免費(fèi)提供且僅需學(xué)生注冊。該項目在九所學(xué)校開展，學(xué)生根據(jù)各校電腦實驗室的數(shù)量分組，每場平均30名學(xué)生。每位學(xué)生每周最多允許參加兩次1.5小時的課后活動。學(xué)校的選擇基于計算機(jī)實驗室的可用性。這些實驗室在使用的設(shè)備類型上有所不同，從筆記本電腦到臺式計算機(jī)不等?；ヂ?lián)網(wǎng)接入，對于與大型語言模型進(jìn)行實時交互至關(guān)重要，是通過路由器提供的。1GPT-4在各種專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出人類水平的表現(xiàn)，包括以約前10%考生的分?jǐn)?shù)通過模擬律師2在表格中可以找到詳細(xì)的實施時間線。 和移動電話信號。然而，互聯(lián)網(wǎng)中斷和停電是在干預(yù)期間面臨的常見挑戰(zhàn)。盡管存在這些問題，學(xué)生能夠在大多數(shù)課程中與聊天機(jī)器人進(jìn)行互動。所有學(xué)生的監(jiān)護(hù)人簽署了知情同意書，同意其子女參與試點項目。學(xué)生們兩人一組，共用一臺電腦，并通過與AI工具進(jìn)行對話來增強(qiáng)學(xué)習(xí)。教師在其中扮演了關(guān)鍵角色，負(fù)責(zé)指導(dǎo)學(xué)生但并不直接授課，他們參與了為期三天的單次培訓(xùn)課程。該培訓(xùn)向教師介紹了大語言模型的功能，并使他們掌握教學(xué)方法，以確保其負(fù)責(zé)任地使用大語言模型并監(jiān)督課堂活動。同時，培訓(xùn)也使教師意識到大語言模型可能存在的潛在風(fēng)險，如幻覺和偏見。在第一次課上，教師向?qū)W生介紹了MicrosoftCopilot，強(qiáng)調(diào)了其教育益處和潛在風(fēng)險，例如過度依賴模型以及出現(xiàn)幻覺和帶有偏見輸出的可能性。其目的是培養(yǎng)負(fù)責(zé)任的用法，鼓勵學(xué)生在使用AI工具的同時補(bǔ)充學(xué)習(xí)，并保留批判性思維能力。每次后續(xù)課程聚焦于第一學(xué)年英語課程中的某個主題，與學(xué)生在常規(guī)課堂所學(xué)內(nèi)容保持一致。課程以教師提供的提示開始，隨后是學(xué)生與AI工具之間的自由互動。教師穿梭于課堂，確保學(xué)生的互動內(nèi)容相關(guān)且專注。每位教師均獲得一個三部分組成的實施工具包 ,包括：a)關(guān)于Copilot和LLMs使用的精選在線學(xué)習(xí)資源；b)關(guān)注人工智能素養(yǎng)及其潛在風(fēng)險與益處的手冊；以及c)課程指南，內(nèi)含建議初始提示和可能需要的后續(xù)問題，以協(xié)助學(xué)生。教師若在課程實施過程中遇到任何問題，還可獲得相關(guān)聯(lián)系人支持，并建立了一個群聊以簡化溝通。學(xué)生也獲得了一份定制指南，其中包含初始提示。該教學(xué)指南及其提示經(jīng)過精心設(shè)計，旨在將大語言模型定位為導(dǎo)師，重點在于促進(jìn)學(xué)習(xí) ,而非僅僅提供直接答案。這些提示基于學(xué)習(xí)科學(xué)的原則，并根據(jù)尼日利亞南部地區(qū)的文化背景進(jìn)行了調(diào)整，融入了學(xué)生熟悉的姓名和習(xí)俗，以使其產(chǎn)生共鳴。3部分提示結(jié) 3在通過提示增強(qiáng)學(xué)習(xí)所采用的策略之一是鼓勵大語言模型利用\"理想的困難\"，而不是僅僅提供直接答案 。這些是條件，8Mollick(2023a).該設(shè)計旨在鼓勵大型語言模型適應(yīng)每位學(xué)生的學(xué)習(xí)水平，通過情境相關(guān)的示例和多樣化的教學(xué)技巧提供教學(xué)支持。學(xué)生通過與大型語言模型提問、完成練習(xí)和接收個性化反饋進(jìn)行互動。在每個會話結(jié)束時，鼓勵學(xué)生反思和討論會話期間所學(xué)到的知識和遇到的挑戰(zhàn)，以促進(jìn)小組成員間的知識共享。為確保項目實施的準(zhǔn)確性，首先對監(jiān)控員進(jìn)行培訓(xùn)，并提供監(jiān)控指南，然后指派他們使用KoboToolbox跟蹤學(xué)生出勤情況，并收集每次課程的相關(guān)信息。4該系統(tǒng)實現(xiàn)了實時數(shù)據(jù)收集，確保干預(yù)措施在各所學(xué)校按預(yù)期執(zhí)行，并提供了及時應(yīng)對任何挑戰(zhàn)的機(jī)會。52.2樣本與隨機(jī)化試點項目的隨機(jī)化在九所選定學(xué)校的學(xué)生層面進(jìn)行。這些學(xué)校中所有的一年級高中學(xué)生通過信息會了解到該計劃，并被給予十天的時間表達(dá)參與興趣。只有在該期間自愿表達(dá)興趣的學(xué)生才被納入隨機(jī)化池。為評估對課后項目表示興趣的學(xué)生是否系統(tǒng)性地不同于那些沒有表示興趣的學(xué)生，我們將參與抽簽資格（即后來表示興趣）的學(xué)生與不參與抽簽資格的學(xué)生在項目前的考試成績進(jìn)行比較。表12報道了基于基準(zhǔn)學(xué)術(shù)成果對資格狀況進(jìn)行回歸分析所得的估計值。在第一項中，后來表達(dá)興趣的學(xué)生比他們的同伴高出0.085個標(biāo)準(zhǔn)差（p<0.1見圖）.然而，在第二學(xué)期——仍然在彩票之前——這種關(guān)系逆轉(zhuǎn)：學(xué)生雖然看似充滿挑戰(zhàn)，但要促進(jìn)更具持久性和靈活性的學(xué)習(xí)（Bjork,1994).例如，最初的和建議的提示中包含了基于證據(jù)的原則，例如檢索練習(xí)——當(dāng)通過選擇題和簡答題測驗實施時，已被證明對高中學(xué)生是einetal.,2018).然而，我們相信未來干預(yù)措施的迭代具有巨大潛力，能夠更充分地利用基于證據(jù)的策略來改善學(xué)習(xí)成果。例如，雖然在我們的項目中，每一節(jié)課程都專注于單一的課程主題，但未來的項目可以嘗試各種變化，例如結(jié)合交錯訓(xùn)練（Weinsteinetal.,2018)和間距規(guī)范（Kang,2016).這些方法將允許在單次會議中涵蓋多個主題，隨著時間的推移回顧和強(qiáng)化它們，以增強(qiáng)長期記憶和理解。5監(jiān)測數(shù)據(jù)包括教師和學(xué)生的出勤率、準(zhǔn)時性、電源和互聯(lián)網(wǎng)狀況，以及參與者的參與度等因素。4關(guān)于此工具的詳細(xì)信息，請參見Das(2024).5監(jiān)測數(shù)據(jù)包括教師和學(xué)生的出勤率、準(zhǔn)時性、電源和互聯(lián)網(wǎng)狀況，以及參與者的參與度等因素。 9未表示興趣的得分高出0.147個標(biāo)準(zhǔn)差（p<0.01見圖）7).各項指標(biāo)缺乏一致的定向模式表明，被選入該項目的選擇與學(xué)術(shù)表現(xiàn)并非具有很強(qiáng)的或系統(tǒng)性的相關(guān)性。盡管我們的分析集中于對表示興趣的群體的處理效應(yīng)，但由于缺乏明確的學(xué)術(shù)選擇標(biāo)準(zhǔn)，研究結(jié)果可能推廣到這一群體之外。然而，我們?nèi)狈ξ幢硎九d趣學(xué)生的人口統(tǒng)計數(shù)據(jù)，這限制了我們在其他維度上評估其代表性的能力。一旦表達(dá)興趣的期限屆滿，采用不放回簡單隨機(jī)抽樣進(jìn)行隨機(jī)分組。6在感興趣的學(xué)生中，將他們分配到治療組（參與項目）或?qū)φ战M（未接受任何干預(yù)，但繼續(xù)在教室進(jìn)行常規(guī)學(xué)習(xí)）。學(xué)生們完成了一份基線調(diào)查和一份終期調(diào)查，其中包含社會人口統(tǒng)計信息。最初，657名學(xué)生被分配到治療組，671名學(xué)生被分配到對照組。然而，只有422名治療組學(xué)生和337名對照組學(xué)生完成了最終評估，這構(gòu)成了用于分析的最終樣本。表1提供兩組關(guān)鍵可觀察特征的綜合統(tǒng)計數(shù)據(jù)和平衡性檢驗。人口統(tǒng)計變量包括性別、年齡和社會經(jīng)濟(jì)地位（SES）指數(shù)。該指數(shù)是從家庭特征的主成分分析中推導(dǎo)得出的，例如獲得商品（電腦、手機(jī)）、服務(wù)（互聯(lián)網(wǎng)連接）、學(xué)習(xí)空間和父母教育程度等。7SES指數(shù)以及其他變量，例如女生比例和年齡，顯示樣本在處理組和控制組之間是平衡的 ,差異較小且不具有統(tǒng)計顯著性。這些結(jié)果證實隨機(jī)化過程在關(guān)鍵特征上實現(xiàn)了平衡，支持后續(xù)處理組和控制組之間比較的有效性。除社會人口統(tǒng)計信息外，干預(yù)前的第一次和第二次考試成績用于衡量基線學(xué)業(yè)表現(xiàn)。治療組和控制組學(xué)生在第一次考試的平均基線分?jǐn)?shù)之間的差異為0.131（SE=0.073），在第二次考試中，6隨機(jī)化過程未采用分層，而是使用計算機(jī)化系統(tǒng)進(jìn)行。盡管隨機(jī)化過程未包含固定的隨機(jī)種子，但分配結(jié)果已記錄并保存，以確保分配的可重復(fù)性和透明性，這符合建議要求。Bruhn和McKenzie(2009).7參見關(guān)于使用主成分分析法構(gòu)建SES指數(shù)的討論。Vyas和Kumaranyake(2006). 0.096（SE=0.073）。這些差異在統(tǒng)計上也不顯著，表明在項目開始前，兩組學(xué)生的學(xué)業(yè)表現(xiàn)是相當(dāng)?shù)摹?.3學(xué)習(xí)數(shù)據(jù)作為因變量在六周干預(yù)結(jié)束時，參與和非參與學(xué)生完成了一項標(biāo)準(zhǔn)化評估，旨在測量三個關(guān)鍵結(jié)果：(a)與尼日利亞相應(yīng)時期課程相一致的英語語言能力（我們的主要關(guān)注結(jié)果），(b)對人工智能的知識，以及(c)對基本數(shù)字概念的理解（從現(xiàn)在起為方便起見，簡稱“數(shù)字技能”）。多數(shù)問題旨在評估英語能力。為最大限度降低作弊風(fēng)險，創(chuàng)建了該評估的多個版本，每個版本都包含隨機(jī)順序的問題。此外，在學(xué)校設(shè)置了監(jiān)控人員以監(jiān)督評估的實施并確保符合測試規(guī)程。該評估采用傳統(tǒng)的紙筆格式進(jìn)行，由專家根據(jù)尼日利亞課程設(shè)計 ,包含多項選擇題。對于每位學(xué)生，基于其在所有主題上的正確答案百分比，生成了一個簡單的分?jǐn)?shù)，同時為三個領(lǐng)域（英語語言、AI知識和數(shù)字技能）分別生成了單獨(dú)的分?jǐn)?shù)。除了這些未加權(quán)的分?jǐn)?shù)外，還針對每個領(lǐng)域和整體評估計算了加權(quán)分?jǐn)?shù)。這些權(quán)重基于每個測試項目的預(yù)先估計難度，該難度由測試設(shè)計者在實施前確定。使用項目反應(yīng)理論（IRT）為每個主題計算了額外的熟練度分?jǐn)?shù)。8這種方法通過將學(xué)現(xiàn)了跨學(xué)生的可比性?；贗RT（項目反應(yīng)理論）的分?jǐn)?shù)通過綜合考慮學(xué)生的回答以及評生的表現(xiàn)置于一個共同的尺度上，并考慮到每道題目的現(xiàn)了跨學(xué)生的可比性?；贗RT（項目反應(yīng)理論）的分?jǐn)?shù)通過綜合考慮學(xué)生的回答以及評估項目的不同難度水平，為英語語言能力——以及人工智能和數(shù)字技能知識——提供了一個更細(xì)致的衡量方式。除了針對干預(yù)措施的評估外，還從學(xué)生的期末英語考試成績中推導(dǎo)出了一個附加的因變量。該考試由學(xué)校獨(dú)立進(jìn)行，涵蓋了整個學(xué)期的內(nèi)容，其時間范圍超出了課后項目的六8對于IRT模型的更詳細(xì)解釋，請參見范德林登和哈姆布爾頓(2015).關(guān)于在教育學(xué)隨機(jī)對照試驗中使用IRT的重要性之討論，參見Muralidharan(2017).3.1模型與主要結(jié)果我們使用以下回歸估計干預(yù)措施的意向治療(ITT)效果：sss第二任期（),andatermβ作為我們主要感興趣的一個變量——一個指標(biāo)s盡ik管干預(yù)前治療組與對照組的學(xué)術(shù)表現(xiàn)差異未達(dá)到統(tǒng)計學(xué)意義，但治療組的表現(xiàn)仍略占 k 表2該報告旨在評估干預(yù)措施在三個主要結(jié)果上的意向性治療效應(yīng)：最終評估總分（加權(quán)和IRT量表）以及第三學(xué)期考試成績。第二學(xué)期考試的系數(shù)在所有模型中均顯著，反映了先前表現(xiàn)的預(yù)測效度。所有模型均包含學(xué)校固定效應(yīng)，觀測值數(shù)量根據(jù)結(jié)果的不同在636至654之間變化。總分（加權(quán)）的治療效應(yīng)為0.31個標(biāo)準(zhǔn)差（SE=0.068），并在使用項目反應(yīng)理論（IRT )進(jìn)行標(biāo)準(zhǔn)化后，仍然為正且顯著（0.263個標(biāo)準(zhǔn)差，SE=0.068）。這些結(jié)果表明，干預(yù)措施顯著提升了學(xué)生在與項目直接相關(guān)的評估中的表現(xiàn)。重要的是，干預(yù)措施對第三學(xué)期考試分?jǐn)?shù)也產(chǎn)生了積極且顯著的影響，效應(yīng)量為0.206個標(biāo)準(zhǔn)差（SE=0.067），盡管該考試并未局限于干預(yù)措施的具體內(nèi)容。這表明干預(yù)措施可能培養(yǎng)了可推廣的技能或改善了超出目標(biāo)內(nèi)容的學(xué)習(xí)成果。表3通過將總分分解為英語技能、數(shù)字技能和人工智能技能，它提供了更細(xì)致的分析。結(jié)果表明，干預(yù)對人工智能知識的影響最大，系數(shù)為0.309個標(biāo)準(zhǔn)差（SE=0.077），其次是英語技能（0.238σ：,SE=0.068)和數(shù)字技能(0.139σ,SE=0.076).對英語技能（我們主要關(guān)注的結(jié)局指標(biāo)）和AI技能的影響在1%水平上具有統(tǒng)計學(xué)顯著性。對數(shù)字技能的影響在10%水平上具有統(tǒng)計學(xué)顯著性。對AI和數(shù)字技能的積極且顯著的影響進(jìn)一步表明，這些技能領(lǐng)域可能對其他技能領(lǐng)域產(chǎn)生潛在的溢出效應(yīng)，盡管這些技能領(lǐng)域并非該項目的首要目標(biāo)。與表2,第二學(xué)期考試成績是結(jié)果的重要預(yù)測指標(biāo),且包含了學(xué)校固定效應(yīng)以解釋學(xué)校層面的不可觀測因素。這項試點研究的結(jié)果尤為顯著，因為若干因素可能削弱了估計的治療效應(yīng)。首先，隨機(jī)化是在學(xué)生層面而非學(xué)校層面進(jìn)行的，這一設(shè)計特征可能導(dǎo)致溢出效應(yīng)，因為對照組學(xué)生在常規(guī)授課時間內(nèi)可能與治療組學(xué)生互動，從而可能稀釋干預(yù)措施的影響。其次，監(jiān)控與評估數(shù)據(jù)顯示，由于部分教師缺乏執(zhí)行區(qū)別的意愿，尤其是在最初幾周，一些對照組學(xué)生無意中獲得了課后課程的參與機(jī)會。此外，在項目啟動的第一幾周發(fā)生了顯著的實施挑戰(zhàn)，許多學(xué)生在創(chuàng)建賬戶以及與大型語言模型互動時遇到了困難。盡管存在這些挑戰(zhàn)，干預(yù)措施產(chǎn)生了積極且顯著的結(jié)果，表明觀察到的效應(yīng)應(yīng)被視為干預(yù)影響保守的一項針對低收入和中等收入國家學(xué)前教育、小學(xué)和中學(xué)教育領(lǐng)域隨機(jī)對照試驗的最新綜述發(fā)現(xiàn)，在整體測試分?jǐn)?shù)方面，中位效應(yīng)為0.10個標(biāo)準(zhǔn)差，在閱讀方面為0.14（EvansandYuan,2022).因此，本研究的結(jié)果至少處于所有隨機(jī)對照試驗的80%百分位數(shù)，與人數(shù)在500至1000人之間的隨機(jī)對照試驗，結(jié)果仍高于其他80%的研究。當(dāng)僅考慮對語言結(jié)果的影響時，結(jié)果接近所有研究的70%百分位數(shù)。作為第一步，我們進(jìn)行了分位數(shù)回歸，以檢驗在不同結(jié)果分布點上處理效應(yīng)。分析表明 ,該處理對所有分位數(shù)均有正向且統(tǒng)計顯著的效應(yīng)，表明無論學(xué)生的初始表現(xiàn)水平如何 ,都能從中獲得廣泛益處。表4考察了性別、社會經(jīng)濟(jì)地位和基線學(xué)業(yè)表現(xiàn)對處理效應(yīng)的異質(zhì)性。第（1）列通過處理指標(biāo)與女性虛擬變量的交互項探索性別異質(zhì)性。盡管在該設(shè)定下處理效應(yīng)的主效應(yīng)在統(tǒng)計上不顯著，但處理與身為女性的交互項在5%的水平上為正值且顯著（0.420），表明干預(yù)對女性學(xué)生產(chǎn)生的積極影響大于男性學(xué)生。該結(jié)果應(yīng)謹(jǐn)慎解讀，因為其似乎受到樣本中一所僅收女生的學(xué)校的影響，該校在干預(yù)前表現(xiàn)劣于其第（2）列通過基線學(xué)業(yè)表現(xiàn)（以第二學(xué)期考試成績衡量）考慮異質(zhì)性。治療組與第二學(xué)期考試成績的交互項為正且在5%水平上顯著，表明學(xué)業(yè)基礎(chǔ)較好的學(xué)生從干預(yù)中獲益更多。第（3）列通過社會經(jīng)濟(jì)地位（SES）考察異質(zhì)性，使用治療組與SES指數(shù)的交互項。該交互項為正（0.113）且在5%水平上顯著，表明來自較高社會經(jīng)濟(jì)背景的學(xué)生體驗到更大的干預(yù)效應(yīng)。這一發(fā)現(xiàn)與軼事證據(jù)一致，表明來自貧困家庭的學(xué)生通常是他們第一次接觸計算機(jī)。盡管這些學(xué)生在未參與干預(yù)的對照情況下仍取得顯著進(jìn)步，但對技術(shù)的初始不熟悉可能削弱了干預(yù)的影響程度。迄今為止所有呈現(xiàn)的結(jié)果均為ITT估計，該估計基于治療組參與者平均參與率約為72%。在本節(jié)中，我們呈現(xiàn)LATE和OLS估計，這些估計衡量了實際參與課程的影響。這些估計利用了作為項目監(jiān)測和評估工作一部分收集的參與數(shù)據(jù)（見圖表）。5).此外，在進(jìn)一步假設(shè)下，我們提供了在不同項目接觸水平上的預(yù)測治療效果。我們估計出出席天數(shù)與附加值之間的劑量反應(yīng)關(guān)系，采用以下模型：得分(),andatermμ對于我們感興趣的主要變量——天數(shù)提供了證據(jù)表明存在劑量反應(yīng)效應(yīng)ik，每個額外一天的出席估計效應(yīng)大小約為d=0.033。這一發(fā)現(xiàn)強(qiáng)調(diào)了持續(xù)參與的重要性 ,因為更多地接觸項目導(dǎo)致學(xué)生成果產(chǎn)生有意義的改進(jìn)。這些估計值捕捉了處理的平均因果反應(yīng)（ACR），它表示受工具影響的那些個體中，處理狀態(tài)發(fā)生單位變化（在本例中，為額外一天出席）的加權(quán)平均因果效應(yīng)（instrument )AngristandImbens,1995).但是，如前所述，使用這些工具變量（IV）估計來預(yù)測不同出席水平的影響需要額外的假設(shè)。Muralidharan等人在不同學(xué)生之間如何變化的假設(shè)，因為平均處理效應(yīng)（ACR）僅被識別于子集的執(zhí)行者（至少參加一次課程的學(xué)生）而非整個樣本，且(ii)關(guān)于天數(shù)參與與治療效果之間關(guān)系函數(shù)形式的假設(shè)，因為平均處理效應(yīng)反映了不同處理強(qiáng)度水平的平均值。對于第一個假設(shè)，我們不能假設(shè)對非遵守者的影響與遵守者相同。這是因為我們有證據(jù)表明，表現(xiàn)不佳的學(xué)生從項目中受益較少（表4),以及先前考試中的較好表現(xiàn)與出勤率呈正相關(guān)（表9).因此，我們采取保守做法，假設(shè)那些被分配至治療組但未參加任何課程的非遵守者——若他們參加了該項目——將完全不會受益。在此假設(shè)下，并且考慮到非遵守者僅占被分配至治療組人數(shù)的3.5%，則每增加一天出席的估計效應(yīng)量為0.031。盡管遵循Muralidharan等人的做法，(2019),另外兩方面的證據(jù)則與預(yù)期ACR適用于非依從者相符。第一,我們無法拒絕方程(3)的工具變量(IV)估計值與使用增值(VA)規(guī)范進(jìn)行的最小二乘法(OLS)估計值相等,這表明平均處理效應(yīng)和局部平均處理效應(yīng)(ATE和LATE)可能相似。第二,在使用全樣本和使用僅限于處理組的數(shù)據(jù)來估計OLSVA規(guī)范中的常數(shù)項（對應(yīng)于0出勤）時,該常數(shù)項相似。這表明不同依從率學(xué)生的潛在結(jié)果相等。關(guān)于天數(shù)與治療效果之間關(guān)系的功能形式，圖形表示表明存在線性關(guān)系（圖4).此外，雖然分?jǐn)?shù)的增值在線性規(guī)定中與出勤天數(shù)高度相關(guān)，但添加二次項并不能提高擬合度，且二次項不顯著，如表所示。7從更理論的角度來看，鑒于大語言模型的適應(yīng)性，線性效應(yīng)也是可以預(yù)料的。因此，似乎可以合理地假設(shè)，雖然效應(yīng)在不同學(xué)生之間存在差異,但每個學(xué)生的效應(yīng)并不會隨著項目接觸的增多而遞減。來自干預(yù)的定性證據(jù)與這些結(jié)果一致，表明該項目的最初幾天對學(xué)習(xí)成果幾乎沒有或沒有可衡量的影響。這種滯后可能反映了學(xué)生熟悉技術(shù)和適應(yīng)新的教學(xué)格式所需的時間。在此初始適應(yīng)期之后，參加額外天數(shù)的效應(yīng)保持持續(xù)積極，沒有出現(xiàn)平臺期的跡象。這表明，將干預(yù)實施期延長至六周之外可能會進(jìn)一步放大學(xué)習(xí)收益。同時，鑒于參與最初幾天的無效效應(yīng)，這也表明LATE估計值可能被低估了。在假設(shè)治療效應(yīng)因?qū)Ψ且缽恼邿o效果而減弱，且存在線性劑量反應(yīng)關(guān)系（這兩種情況在本語境中均顯得合理）的前提下，并遵循文獻(xiàn)(Muralidharan等人,2019),我們的工具變量分析預(yù)測，參加該計劃36周（相當(dāng)于一個學(xué)年）將帶來約2.23個標(biāo)準(zhǔn)差的增益?；?2%的出席率（我們樣本中的經(jīng)驗值）的更保守估計預(yù)測，參加該計劃21周（超過理論總時長36周）將帶來約1.55個標(biāo)準(zhǔn)差的增益。在50%出席率的更悲觀情況下，估計值仍為1.2個標(biāo)準(zhǔn)差。這些發(fā)現(xiàn)突出了持續(xù)實施所帶來的潛在效益。學(xué)習(xí)成果的變革性影響。為檢驗結(jié)果的穩(wěn)健性，我們進(jìn)行了一系列檢驗，逐步調(diào)整基準(zhǔn)模型以提升穩(wěn)健性并考慮潛在的偏誤來源。首先，對于所有展示的模型，我們采用穩(wěn)健標(biāo)準(zhǔn)誤來處理數(shù)據(jù)中的異方差性問題。其次，我們所有展示的模型中均包含了學(xué)校固定效應(yīng)，并使用穩(wěn)健標(biāo)準(zhǔn)誤 ,以控制可能影響學(xué)生結(jié)果的不可觀測的學(xué)校層面特征。第三，我們將干預(yù)實施前的第二學(xué)期考試成績納入控制變量。盡管治療組與對照組之間的表現(xiàn)差異在統(tǒng)計上不顯著，但治療組學(xué)生的得分略高。如前所述，加入該變量使我們能夠采取保守方法，減輕任何潛在的（盡管不太可能）選擇偏誤風(fēng)險。包含所有這些設(shè)定的模型是我們主要結(jié)果的依據(jù)，見表2.此外，我們使用因變量的替代規(guī)格對模型進(jìn)行了估計，以評估我們結(jié)果的穩(wěn)健性。對于感興趣的每個結(jié)果——總分、英語能力、數(shù)字技能和人工智能知識——我們分析了包含或不包含專家問題加權(quán)難度的模型規(guī)格。此外，我們還將項目反應(yīng)理論（IRT）作為評分評估的替代方法。這種方法確保了估計結(jié)果不會受到測試設(shè)計或組成的過度影響。我們展示了加權(quán)總分的主要結(jié)果（表格第（1）欄）。2),均為0.31個標(biāo)準(zhǔn)差，以及項目反應(yīng)理論（IRT）的量表結(jié)果（表2第（2）列）表8進(jìn)行敏感性分析以測試處理效應(yīng)的穩(wěn)健性，通過每次從樣本中迭代排除一所學(xué)校進(jìn)行。所顯示的因變量是最終學(xué)習(xí)評估的加權(quán)總分，但使用其他設(shè)定也得到了相似結(jié)果。估計的處理效應(yīng)范圍從排除IdiaCollege時的0.156（標(biāo)準(zhǔn)誤=0.085）到排除ImagueroCollege時的0.360（標(biāo)準(zhǔn)誤=0.072）。盡管在大多數(shù)情況下效應(yīng)在1%水平上仍然具有統(tǒng)計顯著性，但排除IdiaCollege將效應(yīng)大小和顯著性降低至10%水平。然而，考慮到IdiaCollege規(guī)模巨大（657所中的219所，或樣本的33%），其排除會削弱計算效力，這一結(jié)果是可以理解的。對于所有其他學(xué)校，估計系數(shù)穩(wěn)定在0.30左右并保持統(tǒng)計顯著性。 在1%的水平上。總體而言，結(jié)果表明處理效應(yīng)在大多數(shù)規(guī)格中保持一致且具有統(tǒng)計學(xué)上的顯著性，這表明研究結(jié)果并非由任何單一學(xué)校的影響所驅(qū)動。最后，由于處理組和對照組的流失率差異顯著，我們首先提供Lee邊界估計處理效應(yīng)（ITTeffects）對結(jié)果變量的影響。這些邊界表明使用估計方法所得到的處理效應(yīng)的范圍。Lee(2005)的邊界方法。該方法考慮了由于流失或被選入項目而可能產(chǎn)生的偏差。分析表明，即使采用這種保守的方法（表10此外，為評估我們的研究發(fā)現(xiàn)的穩(wěn)健性以應(yīng)對參與者流失問題，我們基于觀察到的特征對最終評估階段參與的似然性進(jìn)行建模。隨后,我們計算了逆概率加權(quán)處理效應(yīng)，發(fā)現(xiàn)估計的ITT效應(yīng)基本未發(fā)生變化（見表）。11).因此，即使在結(jié)項時存在非隨機(jī)流失，我們的主要結(jié)論仍然成立。本節(jié)對試點項目進(jìn)行成本效益分析，與其他高劑量項目進(jìn)行比較，并探討其可規(guī)模化的一些挑戰(zhàn)與機(jī)遇。我們利用規(guī)劃與預(yù)算數(shù)據(jù)測算項目的名義成本，并根據(jù)比例(ValdiviaTeixeira,2019為657名學(xué)生實施為期6周的試點項目，每位學(xué)生的成本約為48美元，邊際成本估計為9美元。此外，將試點項目擴(kuò)展到四個學(xué)季度將每位學(xué)生的成本增至124美元，這對于在沒有進(jìn)一步改善學(xué)習(xí)成果的情況下（考慮到我們劑量效應(yīng)結(jié)果的保守性）構(gòu)建關(guān)于長期干預(yù)投資回報的政策討論尤為有用。表13提供試點成本明細(xì)以及我們針對四季度的項目估算。在試點實施過程中，固定成本占總體成本的43%（在假設(shè)的四季度項目中為39%），這為第二輪項目中的潛在成本降低提供了參考。9為了分析試點項目的有效性，我們遵循了Evans所使用的方法論。 9考慮到內(nèi)容開發(fā)占所有固定成本的72%，并且對于年度實施來說將達(dá)到80%，這一點尤其相關(guān)。Yuan(2019).為了評估有效性，規(guī)模效應(yīng)被轉(zhuǎn)化為EYOS（預(yù)期年數(shù)），它以給定干預(yù)措施所提供的學(xué)習(xí)成果來表示“常規(guī)業(yè)務(wù)”學(xué)校的年數(shù)。我們在英語方面的IT效應(yīng)為0.238個標(biāo)準(zhǔn)差。108個標(biāo)準(zhǔn)差。10相當(dāng)于尼日利亞增加了1.5年的常規(guī)教育時長，而0.31標(biāo)準(zhǔn)差的總得分提措施，例如結(jié)構(gòu)化教學(xué)法，后者通常在整個學(xué)年持續(xù)實施。在本節(jié)余下部分，我們使用英語方面的效果數(shù)據(jù)，因為這是我們主要關(guān)注的成果。該干預(yù)措施的成本效益，以每參與者投入100美元（理論上）所產(chǎn)生的預(yù)期有效學(xué)習(xí)年數(shù)（EYOS）來衡量，在假設(shè)規(guī)模報酬不變的情況下，預(yù)計可產(chǎn)生3.2EYOS。我們將測試分?jǐn)?shù)的增長轉(zhuǎn)化為工資的增加EvansandYuan,2019)).我們估計英語水平的提高將導(dǎo)致工資增加14%。11額外年收入范圍在392至630美元之間。12在其工作生涯中，每位參與者的收入增長的現(xiàn)值介于7,767至12,517美元之間。13在考慮長期工資效應(yīng)和我們的試點成本時，我們的試點項目的收益成本比是161至260。作為參考點，我們計算得出，即使在學(xué)習(xí)成果方面沒有進(jìn)一步改進(jìn)，運(yùn)行該試點一年也能產(chǎn)生62至100的高收益成本比。為進(jìn)行比較，該項目的投資回報率與美國近期的高劑量個性化輔導(dǎo)項目（包括使用技術(shù),FryerandHoward-Noveck(2020)產(chǎn)生2.4至8的成本效益比。然家（LICs）和下中等收入國家（LMICs）的證據(jù)顯示，成本效益比在8至156之間變化(Glewweetal.(2010),杜弗洛等人。(2011),Banerjee等人(2007),EvansandYuan(2019)).與我們的研究結(jié)果一致，最近一項對全球150項教育干預(yù)措施的回顧（Angristetal.,2023)發(fā)現(xiàn)，在合適水平教授并包含技術(shù)元素的課程能產(chǎn)生最大的效益成本。10本部分重點探討英語方面的結(jié)果，因為大多數(shù)使用EYOS和LAYS的文獻(xiàn)主要關(guān)注語言或數(shù)學(xué)技能。如果我們使用總體分?jǐn)?shù)，估計值將會更大。,肯尼亞是人均收入與尼日利亞最接近的國家(($6,200versus$6,020inPPP,current2023)。11FollowingEvans,肯尼亞是人均收入與尼日利亞最接近的國家(($6,200versus$6,020inPPP,current2023)。12這些值取決于所應(yīng)用的勞動收入份額。世界銀行表估計其值為0.465。()Feenstra等人,2015),和國際勞工組織的估計值為0.748。盡管我們更傾向于國際勞工組織的方法，因為它對自雇收入進(jìn)行了調(diào)整，但我們同時提供了這兩個數(shù)值。13我們采用3%的折現(xiàn)率，假設(shè)代表性代理人在20歲時進(jìn)入勞動力市場，并擁有40年的工作壽命。我們還假設(shè)在一個人的一生中，工資對技能的回報是恒定的。LICs和LMICs之間的比率，加權(quán)平均值為65。如同任何其他中低收入國家一樣，尼日利亞學(xué)校中“按常規(guī)”一天的生產(chǎn)力低于表現(xiàn)優(yōu)異的國家。為了促進(jìn)跨國比較，我們計算了LAYS（Angristetal.,2025;2020),該模型根據(jù)尼日利亞的學(xué)習(xí)質(zhì)量調(diào)整了我們的項目在年受教育年限方面的學(xué)習(xí)收益。使用英語技能的學(xué)習(xí)收益（0.24σ),我們估計在兩種情況下LAYS的情況。如果影響僅持續(xù)一年，干預(yù)措施會產(chǎn)生0.3LAYS。相反，如果影響持續(xù)到剩余的學(xué)校預(yù)期壽命,該計劃將為每個參與者創(chuàng)造額外0.9年的優(yōu)質(zhì)教育。14換句話說，我們的尼日利亞參與者平均獲得了（最高表現(xiàn)國家）0.9年的教育資源。最后，我們的項目每100美元產(chǎn)出0.6至1.9LAYS。如果我們將6周項目基于的估計替換為英語在劑量效應(yīng)部分計算的估計，則考慮到觀察到的出席率，該項目一年的LAYS將應(yīng)為1.25。超越比較微小的數(shù)量差異，鑒于各研究的潛在假設(shè)、估計不精確性和情境條件各不相同 ,評估結(jié)果時應(yīng)關(guān)注其序數(shù)而非基數(shù)。通過這一視角，分析可為政策制定、預(yù)算分配和項目設(shè)計中的重大權(quán)衡提供依據(jù)。因此，試點項目的成本效益比和其他成本效率指標(biāo)均處于基準(zhǔn)線以上或更高水平，凸顯其在解決資源匱乏環(huán)境下的學(xué)習(xí)危機(jī)方面的潛在成本4.2未來研究方向本研究結(jié)果為未來研究提供了若干潛在方向。首先，將項目持續(xù)時間延長至六周以上，可探究更長時間的干預(yù)是否能帶來更顯著或持續(xù)的學(xué)業(yè)成果改進(jìn)，以及隨著時間推移學(xué)習(xí)曲線的形態(tài)。更長的項目可能允許學(xué)生與聊天機(jī)器人進(jìn)行更復(fù)雜的互動，從而進(jìn)一步增強(qiáng)其教育效益。這些延伸研究應(yīng)輔以對學(xué)生在與人工智能工具互動過程中的定性評估 ,以理解推動學(xué)業(yè)改善的因果機(jī)制，以及學(xué)生具體如何從虛擬輔導(dǎo)中獲益?？紤]到我們的參與者處于十年級，我們使用3作為剩余的預(yù)期在校年數(shù)。其次，擴(kuò)大研究范圍以納入更多樣化的學(xué)校群體，特別是農(nóng)村地區(qū)的學(xué)校，將提高研究結(jié)果的推廣效度。通過調(diào)查該項目在不同教育環(huán)境中的有效性，有可能評估其在不同情境下的可擴(kuò)展性和適應(yīng)性。干預(yù)時間的延長以及學(xué)校群體的擴(kuò)大都能提供有關(guān)其作用機(jī)技干預(yù)措施推出后可能出現(xiàn)，可能包括教師態(tài)度、努力程度和行為等方面的潛在變化，即使作為常規(guī)教學(xué)的一部分。另一個值得探索的途徑是增加一個額外的治療組，該組由教師提供一對一輔導(dǎo)，且不使用技術(shù)。這將允許直接比較LLM驅(qū)動輔導(dǎo)與傳統(tǒng)教師主導(dǎo)輔導(dǎo)的有效性，為成本效益和教學(xué)效能提供有價值的見解，并有助于計算技術(shù)在教師生產(chǎn)力提升方面可能產(chǎn)生的影響。類似地，額外的治療組還可以幫助分離可能驅(qū)動該效果的多種因果機(jī)制，包括額外的教學(xué)時間和與教師支持的聊天機(jī)器人互動。理解干預(yù)措施的長期影響也至關(guān)重要。未來的研究應(yīng)調(diào)查短期內(nèi)觀察到的積極效果是否能夠持續(xù)，從而對學(xué)生學(xué)術(shù)軌跡產(chǎn)生持久的改善。同樣，從政策角度來看，評估此類課后項目是否會導(dǎo)致長期內(nèi)學(xué)生從有生產(chǎn)力的校內(nèi)活動中投入的努力或時間發(fā)生轉(zhuǎn)變，以及校內(nèi)項目是否可能作為替代方案提供更高的有效性，這將具有重要價值。15最后，進(jìn)一步的研究可以探討學(xué)生是否會將其使用AI工具的技能——在沒有明確指導(dǎo)的情況下——從一個學(xué)科領(lǐng)域轉(zhuǎn)移到另一個學(xué)科領(lǐng)域。例如，未來的研究可以考察英語課中AI工具的熟悉程度是否提升了學(xué)生在其他學(xué)科（如數(shù)學(xué)或科學(xué)）的學(xué)習(xí)表現(xiàn)。這種跨學(xué)科應(yīng)用AI將為LLMs在教育領(lǐng)域更廣泛的學(xué)習(xí)潛力提供見解。15關(guān)于課后項目與計算機(jī)輔助自適應(yīng)學(xué)習(xí)的優(yōu)缺點討論，請參見Mo等人(2014). 這項試點干預(yù)措施的研究結(jié)果突出了若干對解決發(fā)展中國家，尤其是撒哈拉以南非洲地區(qū)學(xué)習(xí)危機(jī)具有前景的政策啟示。首先，盡管存在一些實施挑戰(zhàn)，例如網(wǎng)絡(luò)中斷和停電，干預(yù)措施對學(xué)習(xí)成果產(chǎn)生了實質(zhì)性的影響。這對于面臨嚴(yán)重教師短缺、高人口增長和教師流失率不斷上升的國家來說尤其令人鼓舞。政策制定者可以得出的一個關(guān)鍵啟示是，投資于由大型語言模型（LLMs）支持的人工智能輔導(dǎo)項目，可以顯著提高教師的生產(chǎn)力，這與最近的一些定性證據(jù)一致。Keppler等人,2024).通過將傳統(tǒng)課堂教學(xué)與基于人工智能的支持相結(jié)合，教育系統(tǒng)可以提供個性化學(xué)習(xí)體驗，尤其是在人力資源緊張的環(huán)境中。其次，該程序表明，LLMs在正確使用時可以提高學(xué)習(xí)效果。近期文獻(xiàn)中的一項辯論似乎表明，當(dāng)LLMs被用作捷徑時，即在不鼓勵學(xué)生思考的情況下，用來快速解答學(xué)生的問題時，它們可能會損害學(xué)習(xí)效果。這些是例如以下研究所發(fā)現(xiàn)的結(jié)果Bastani等人(2024).一些研究也表明，當(dāng)學(xué)生使用LLMs搜索信息時，可能導(dǎo)致推理和論證質(zhì)量降低（Stad2024).相反，我們所評估的干預(yù)措施似乎表明，當(dāng)通過提示（prompting）將其專門用作適應(yīng)特定用例和上下文的導(dǎo)師時，大型語言模型（LLMs）可以改善學(xué)習(xí)效果。因此，這些發(fā)現(xiàn)與所強(qiáng)調(diào)的觀點一致。Gerlich(2025)教育策略應(yīng)促進(jìn)對人工智能技術(shù)的批判性參與，以避免認(rèn)知卸載，這可能降低批判性思維能力。本文評估的干預(yù)措施利用了三個關(guān)鍵機(jī)制來實現(xiàn)有效的輔導(dǎo)。首先，提示被有意設(shè)計為引導(dǎo)大型語言模型提供基于學(xué)習(xí)科學(xué)原理的解釋和支持，而不是簡單地提供直接答案。其次，教師在監(jiān)控和引導(dǎo)學(xué)生使用大型語言模型方面發(fā)揮了重要作用，以確保其得到恰當(dāng)和富有成效地使用。第三,每次課程的內(nèi)容與官方課程大綱保持一致。16換句話說，我們認(rèn)為整體干預(yù)措施——包括與LLM的交互以及教師通過具體提示提供的指導(dǎo)——正在推動結(jié)果。我們有理由相信，這些效果并非完全由額外的時間驅(qū)動16在這種情況下，雖然我們的干預(yù)在使用LLMs方面有所不同，但它更緊密地符合“計算機(jī)輔助教學(xué)”——融入教師的授課和課程——而不是“獨(dú)立運(yùn)作的計算機(jī)輔助學(xué)習(xí)”。這一區(qū)別由Ba 種解釋表明，教師與技術(shù)之間可能存在互補(bǔ)性，而技術(shù)如何被使用和部署對于理解其影one-on-oneorinsmallgroups(Nickow等人,2020;KraftandLovison,2024).17種解釋表明，教師與技術(shù)之間可能存在互補(bǔ)性，而技術(shù)如何被使用和部署對于理解其影響至關(guān)重要。Muralidharan等人(2019),我們的結(jié)果也可以被解釋為表明在教育中使用技術(shù)——尤其是LLMs——可以提高講師的生產(chǎn)力。18第三，盡管這項干預(yù)是在試點規(guī)模下進(jìn)行的，但其成本效益使其成為大規(guī)模實施的有希望的候選方案。盡管干預(yù)的效果隨著樣本量的增大通常會降低（EvansandYuan,2022),大型語言模型的快速發(fā)展以及實施過程的改進(jìn)潛力表明，該項目的未來迭代可能具有更大的影響力。此外，該干預(yù)措施由本地員工（包括教師和監(jiān)控人員）實施，這可能有助于其可擴(kuò)展性。類似地，使用免費(fèi)工具，而非傳統(tǒng)的基于訂閱的計算機(jī)自適應(yīng)軟件,可以顯著降低邊際成本。此外，大型語言模型在自適應(yīng)學(xué)習(xí)方面具有獨(dú)特優(yōu)勢：它們消除了開發(fā)包含不同難度級別的大量題庫以準(zhǔn)確將學(xué)生分類到不同表現(xiàn)層級的需要，這一要求Rodriguez-Segura(2022)強(qiáng)調(diào)對于傳統(tǒng)自適應(yīng)軟件至關(guān)重要。這種可擴(kuò)展性潛力對于尋求在資源受限環(huán)境中以經(jīng)濟(jì)高效方式解決學(xué)習(xí)差距的政策制定者尤為重要。第四，雖然人工智能干預(yù)有潛力縮小學(xué)習(xí)差距，但政策制定者必須警惕此類項目可能無意中加劇不平等的地區(qū)。盡管干預(yù)措施可能提供帕累托最優(yōu)效益，但數(shù)字素養(yǎng)和技術(shù)接入方面的差異可能會加劇現(xiàn)有不平等。確保所有學(xué)生都能受益于人工智能助教、數(shù)字技能和人工智能素養(yǎng)課程的前提是，這些課程應(yīng)在課程早期以實用和包容的方式引入，教師應(yīng)接受培訓(xùn)，利用數(shù)字技能改進(jìn)其教學(xué)實踐并支持學(xué)生成為數(shù)字和人工智能素養(yǎng)者。此外，需要在基礎(chǔ)設(shè)施和設(shè)備上進(jìn)行重大投資，以在區(qū)域間提供公平的技術(shù)接入。政策制定者必須確保將人工智能整合到此外，Rodriguez-Segura(2022)比較Bucheletal.(2022),一個來自薩爾瓦多的研究Ma等人(2024來自中國的這項研究表明，在傳統(tǒng)計算機(jī)輔助自適應(yīng)學(xué)習(xí)中，對于國家能力相對較低的國家（如尼日利亞），額外的教學(xué)時間不太可能是提高成果的主要驅(qū)動因素。教育伴隨著解決數(shù)字鴻溝的舉措，尤其是在低收入和農(nóng)村地區(qū)。這可能需要跨部門重新調(diào)整優(yōu)先事項，因為教育預(yù)算通常嚴(yán)重傾向于經(jīng)常性支出，如工資。最后，生成式人工智能的迅速發(fā)展提供了一個獨(dú)特的機(jī)會來解決全球?qū)W習(xí)危機(jī)。通過利用負(fù)責(zé)任的人工智能應(yīng)用，以大規(guī)模提供個性化、自適應(yīng)的學(xué)習(xí)，各國政府可以采取果斷措施，改善那些傳統(tǒng)上面臨重大教育挑戰(zhàn)的背景下的學(xué)習(xí)成果。參考文獻(xiàn)技術(shù)報告，.ANGRIST,J.D.ANDG.W.IMBENS(1995變量處理強(qiáng)度模型中的因果效應(yīng)，ageANGRIST,N.,D.K.EVANS,D.FILMER,R.GLENNERSTER,H.ROGERS,ANDS.SABAR-WAL(2025):“如何最有效地提高教育成果？——一項綜述。”技術(shù)與教學(xué)的沖擊：來自農(nóng)村隨機(jī)對照試驗的證據(jù)”BANERJEE,A.,R.BANERJI,J.BERRY,E.DUFLO,H.KANNAN,S.MUKHERJI,M.BANERJEE,A.,R.BANERJI,E.DUFLO,R.GLENNERSTER,ANDS.KHEMANI(2008):“參與式項目的陷阱：來自印度教育隨機(jī)評估的證據(jù)，”工作論文14311，美國國家經(jīng)濟(jì)BANERJEE,A.V.,S.COLE,E.DUFLO,ANDL.LINDEN(2007):“補(bǔ)救教育：“印度兩項隨機(jī)實驗的證據(jù)，”經(jīng)濟(jì)學(xué)24):A(2024):“技術(shù)能否促進(jìn)規(guī)模？來自對高劑量輔導(dǎo)的隨機(jī)評估的證據(jù)，”工作論文32510 ,美國國家經(jīng)濟(jì)研究局。BJORK,R.A.(1994):“記憶與元記憶考慮因素在人類培訓(xùn)中的應(yīng)用,”.(2009):“追求平衡：隨機(jī)化的實踐BUCHEL,K.,M.JAKOB,C.KUHNHANSS,D.STEFFEN,ANDA.BRUNETTI(2022):“教師與學(xué)習(xí)軟件的相對有效性：來自實地實驗的證據(jù)”,由A.Pundhir、A.K.Mehto和A.Jaiswal編輯,學(xué)術(shù)生的學(xué)習(xí)能力”“學(xué)習(xí)？一項關(guān)于實驗研究的系統(tǒng)性綜述與元分析，”“追蹤的影響：肯尼亞一項隨機(jī)評估的證據(jù)”(2013):“通過有效的學(xué)習(xí)技巧提升學(xué)生學(xué)習(xí)效果：充滿希望的研究方向?！眮碜哉J(rèn)知和教育心理學(xué)的指導(dǎo)，EVANS,D.ANDF.YUAN(與挑戰(zhàn)，”全球發(fā)展中心工作論文，全球發(fā)展FEENSTRA,R.C.,R.INKLAAR,ANDFILMER,D.,H.ROGERS,N.ANGRIST“受教育年限（LAYS）：定義教育的新宏觀衡量標(biāo)準(zhǔn)”GLEWWE,P.,N.ILIAS,ANDGURYAN,J.,J.LUDWIG,M.P.BHATT,P.J.COOK,J.M.V.DAVIS,K.DODGE,G.FARKAS,J.FRYER,ROLANDG.,S.MAYER,H.POLLACK,L.STEINBERG,ANDG.STODDARD(2023):“為時未晚：提升青少年學(xué)業(yè)表現(xiàn)”.學(xué)支持：關(guān)于人工智能影響的實驗證據(jù)。”Springer,373–381.d“如何提升兒童的認(rèn)知和非認(rèn)知能力？”KEPPLER,S.,W.P.SINCHAISRI,ANDC.SNYDER(2024):“逆向規(guī)劃與**”“關(guān)鍵人工智能：來自美國K12教師的案例研究證據(jù)，”.”數(shù)學(xué)輔導(dǎo)項目的實驗證據(jù)。教育工作論文編號。習(xí)是否提高學(xué)習(xí)成果？來自一項隨機(jī)實驗的證據(jù)？”“對北京移民學(xué)校的調(diào)查”,47,34–48.LAI,F.,L.ZHANG,Q.Q5b):“教授更廣泛交流的語言、少數(shù)民族學(xué)生和整體教育表現(xiàn)：來自青海省一項隨機(jī)實驗的證據(jù)LEE,D.S.(2005):“培訓(xùn)、工資和樣本選擇：估計處理效應(yīng)的嚴(yán)格界限,”.LEHMANN,M.,P.B.CORNELIUS,ANDF.J.STING(2024):“人工智能走進(jìn)課堂：MA,Y.,R.FArlie,P.LOYALKA,ANDS.ROZELLE教育科技：關(guān)于中國計算機(jī)輔助學(xué)習(xí)的實驗證據(jù)中學(xué)和高中課堂的考試成績。”ELLAND,S.ROZELLE(2014):“將計算機(jī)輔助學(xué)習(xí)整合到常規(guī)課程中：,來自陜西農(nóng)村學(xué)校的隨機(jī)試驗的證據(jù)，”MOLLICK,E.R.ANDL.MOLLICK(2023b)課堂教學(xué)中的策略：五種策略，包括提示。關(guān)于印度技術(shù)輔助教學(xué)的實驗證據(jù)，影響：一項對實驗證據(jù)的系統(tǒng)綜述和元分析，”工作論文，美國國家經(jīng)濟(jì)研究局。PERERA,M.ANDD.ABOAL(2019):“一個數(shù)學(xué)計算機(jī)輔助學(xué)習(xí)平臺對學(xué)生數(shù)學(xué)考試成績的影響,”MERIT工作論文2019-007,聯(lián)合國大學(xué)-馬斯特里赫特創(chuàng)新與技術(shù)經(jīng)濟(jì)與社會研究學(xué)院(MERIT).Ev-“認(rèn)知便利的代價：大語言模型“減少認(rèn)知負(fù)擔(dān)但在學(xué)生科學(xué)探究中犧牲深度”CRCPress.VANZO,C.A.,S.P.CHOWDHURY,ANDM.SACHAN“導(dǎo)師可以提升學(xué)生參與度和學(xué)習(xí)成果，”WANG,R.E.,A.T.RIBEIRO,C.D.ROBINSON,S.LOEB,ANDD.DEMSZKY(2024):“T“torCoPilot:一種人類-人工智能方法，用于擴(kuò)展實時專業(yè)知識，”WEIDLICH,J.,D.GASEVIC,ANDP.A.KIRSCHNER(2025):“ChatGPT在教育領(lǐng)域：尋找原因的影響，”《全球?qū)W習(xí)貧困狀況報告：2022年更新》，技術(shù)報告，世界銀表1：樣本描述性特征和觀測余額均值（處理組）均值（對照組）差值標(biāo)準(zhǔn)誤95%置信區(qū)間人口統(tǒng)計特征人口統(tǒng)計特征SES指數(shù)0.059-0.0750.1330.105[-0.073,0.339]基準(zhǔn)測試分?jǐn)?shù)第二次考試0.045-0.050基準(zhǔn)測試分?jǐn)?shù)學(xué)校學(xué)校處理組和控制組指的是被隨機(jī)分配參加Copilot的學(xué)生。注意sessions.用于評估本表中協(xié)變量平衡的人口統(tǒng)計學(xué)變量是在注意基線調(diào)查。SES指數(shù)使用主成分分析中的第一個因子進(jìn)行估計。：(連接)，家中的學(xué)習(xí)空間，以及父母的教育程度?；€測試分?jǐn)?shù)為通過觀察學(xué)生在常規(guī)課程學(xué)?？荚囍械谋憩F(xiàn)來衡量。干預(yù)前的條款。表2：主要結(jié)局的意向治療（ITT）效應(yīng)總分總分第三學(xué)期考試(加權(quán))(IRT量表)第二次考試0.470******學(xué)校固定效應(yīng)√√√:?<<<p0.1;??p0.05???p<0.01。括號內(nèi)為異方差穩(wěn)健標(biāo)準(zhǔn)誤。處理變量是一個虛擬變量，表示學(xué)生是否被分配參加Copilot課程。模型1中的結(jié)果為干預(yù)期期末學(xué)習(xí)評估的總分，如前所述。Section4.1模型2的結(jié)果是相同的評估分?jǐn)?shù)，但使用項目反應(yīng)理論模型進(jìn)行了縮放。模型3的結(jié)果是在干預(yù)之后進(jìn)行的第三學(xué)期常規(guī)課程考試中獲得的分?jǐn)?shù)，該考試內(nèi)容與干預(yù)材料無關(guān)。所有結(jié)果都標(biāo)準(zhǔn)化，使其均值為零，標(biāo)準(zhǔn)差為一。表3：意向治療(ITT)對特定領(lǐng)域的影響英語技能數(shù)字技能人工智能技能ScoreScoreScore第二次考試0.401***學(xué)校固定效應(yīng)√√√:?<<<p0.1;??p0.05???p0.01.魯棒異方差性標(biāo)準(zhǔn)誤括號內(nèi)。處理變量是一個虛擬變量，指示學(xué)生是否被分配參加Copilot課程。模型1中的結(jié)果是在干預(yù)中的最終學(xué)習(xí)評估總得分，如描述。Section4.1模型2的結(jié)果是相同的評估分?jǐn)?shù)，但使用項目反應(yīng)理論模型進(jìn)行了縮放。模型3的結(jié)果是在第三學(xué)期的常規(guī)課程考試中獲得的分?jǐn)?shù)，該考試在干預(yù)之后進(jìn)行，其內(nèi)容與干預(yù)材料無關(guān)。所有結(jié)果均標(biāo)準(zhǔn)化，使其均值為零，標(biāo)準(zhǔn)差為一。表4：按性別、社會經(jīng)濟(jì)地位和既往學(xué)生表現(xiàn)分解的處理效應(yīng)異質(zhì)性女性第二任期高級管理人員指數(shù)考試成績治療-0.039第二次考試0.477***治療*第二學(xué)期考試0.151**-0.293**SES指數(shù)-0.054**學(xué)校固定效應(yīng)√√√p0.1;??p0.05???p0.01.異方差穩(wěn)健標(biāo)準(zhǔn)誤置于括號內(nèi)。所有模型均使用干預(yù)組最終學(xué)習(xí)評估中的總分作為因變量，如前所述。Section4.1模型1中的交互項包含一個女性學(xué)生的虛擬變量。模型2中的交互項包含學(xué)生在第二學(xué)期常規(guī)課程學(xué)?？荚囍蝎@得的分?jǐn)?shù)。模型3中的交互項包含社會經(jīng)濟(jì)地位指數(shù)（SES），該指數(shù)是通過主成分分析（PCA）的第一主成分估計得出的，該分析包括對某些商品（電腦、手機(jī) )的獲取、服務(wù)（互聯(lián)網(wǎng)連接）、家庭學(xué)習(xí)空間以及父母教育程度的表5：參與項目場次的活動劑量反應(yīng)分析：工具變量估計DependDepend人工智能技能英語技能ent人工智能技能英語技能entvariable:總分總分第三季度數(shù)字技能(加權(quán))(IRT量表)考試分?jǐn)?shù)分?jǐn)?shù)分?jǐn)?shù)出勤天數(shù)0.033***0.028***-0.372**學(xué)校固定效應(yīng)√√√√√√R2