應(yīng)用Kinect構(gòu)建英語(yǔ)課堂虛擬教學(xué)情境研究

1、    應(yīng)用kinect構(gòu)建英語(yǔ)課堂虛擬教學(xué)情境研究    摘要：語(yǔ)言習(xí)得在真實(shí)的情境中發(fā)生才更有效，英語(yǔ)課堂教學(xué)的出發(fā)點(diǎn)應(yīng)該是情境。針對(duì)當(dāng)前英語(yǔ)課堂的去情境化或弱情境化教學(xué)現(xiàn)狀，提出利用kinect體感交互技術(shù)構(gòu)建課堂虛擬教學(xué)情境來(lái)增強(qiáng)語(yǔ)言沉浸。以情境認(rèn)知學(xué)習(xí)理論為指導(dǎo)，對(duì)大學(xué)英語(yǔ)課堂虛擬教學(xué)情境要素進(jìn)行分析與設(shè)計(jì)，實(shí)現(xiàn)了kinect虛擬情境創(chuàng)設(shè)系統(tǒng)。大學(xué)英語(yǔ)課堂教學(xué)應(yīng)用案例表明，該系統(tǒng)在創(chuàng)設(shè)情境、體驗(yàn)情境、演繹情境和反思評(píng)價(jià)等教學(xué)環(huán)節(jié)中具有積極輔助作用。關(guān)鍵詞：虛擬教學(xué)情境，kinect體感交互，語(yǔ)言沉浸，英語(yǔ)課堂教學(xué)引言情境認(rèn)知理論認(rèn)為，知識(shí)是在一

2、定的情境中創(chuàng)建并且在一定的情境下獲得意義，學(xué)習(xí)應(yīng)該在真實(shí)應(yīng)用情境下發(fā)生才更有效。語(yǔ)言學(xué)習(xí)同樣對(duì)同樣情境具有重要依賴性，布魯諾認(rèn)為1：“成功的外語(yǔ)課堂教學(xué)應(yīng)當(dāng)在課內(nèi)創(chuàng)設(shè)更多的情境，讓學(xué)生有機(jī)會(huì)運(yùn)用已學(xué)到的語(yǔ)言材料?！鼻榫车闹匾允沟们榫辰虒W(xué)很早就成為外語(yǔ)教學(xué)研究的熱點(diǎn)，至今已提出了不少的情境教學(xué)模式和方法，并且也卓有成效的指導(dǎo)了外語(yǔ)教學(xué)實(shí)實(shí)踐23。 教學(xué)情境是對(duì)真實(shí)情境加工提煉后影響學(xué)習(xí)者的，教學(xué)情境應(yīng)盡可能的還原語(yǔ)言運(yùn)用的真實(shí)情境。在當(dāng)前課堂教學(xué)實(shí)踐中，大多采用多媒體課件創(chuàng)設(shè)教學(xué)情境，如ppt、flash演示和音視頻播放等，這些能形象直觀地展示教學(xué)內(nèi)容，在一定程度上可以營(yíng)造語(yǔ)言習(xí)得情境，但還是

3、存在沉浸感不強(qiáng)、教學(xué)活動(dòng)互動(dòng)性差、學(xué)生多處于被動(dòng)接受和旁觀者角色導(dǎo)致語(yǔ)言輸出不足等問(wèn)題。部分高校建設(shè)的專用外語(yǔ)情境教學(xué)實(shí)驗(yàn)室，如商務(wù)英語(yǔ)實(shí)訓(xùn)室，是集成了藍(lán)屏摳像、高清攝像、情境融合等技術(shù)為一體的專用系統(tǒng)，設(shè)備成本高，對(duì)場(chǎng)地也有特殊要求，不便在普通課堂教學(xué)中使用。 去情境化或弱情境化的英語(yǔ)教學(xué)使課堂缺乏語(yǔ)言的真實(shí)運(yùn)用環(huán)境，學(xué)生對(duì)原本充滿生活氣息、活生生的語(yǔ)言學(xué)習(xí)容易感到枯燥乏味。而我們對(duì)106位大學(xué)英語(yǔ)教師關(guān)于“課堂情境教學(xué)制約條件”的網(wǎng)絡(luò)調(diào)查顯示4，“缺乏足夠的輔助和實(shí)驗(yàn)設(shè)備、道具”選項(xiàng)占到41%。 為此，本文探索采用虛擬現(xiàn)實(shí)和體感交互技術(shù)，在傳統(tǒng)普通課室多媒體系統(tǒng)的基礎(chǔ)上，通過(guò)usb接口連接

4、一臺(tái)低成本的kinect體感器，并安裝情境合成軟件，架構(gòu)一種交互式、沉浸式虛擬情境系統(tǒng)，創(chuàng)設(shè)高度擬真的英語(yǔ)學(xué)習(xí)情境，提高學(xué)習(xí)的沉浸感。而國(guó)內(nèi)現(xiàn)行的大多數(shù)教材，如新視野大學(xué)英語(yǔ)和新編大學(xué)英語(yǔ)等都采用了“以學(xué)生為中心的主題教學(xué)模式”，每一個(gè)單元主題的情境往往具有相似性，會(huì)話題材能反映在非常具體、生動(dòng)的交際情景或者活動(dòng)情境里，這為創(chuàng)設(shè)相應(yīng)的題材情境進(jìn)行教學(xué)提供了條件。 一基于kinect的虛擬教學(xué)情境設(shè)計(jì)1kinect功能與原理介紹 kinect原本是微軟的一款游戲體感外設(shè)，其強(qiáng)大的功能及強(qiáng)烈的用戶需求使微軟將其拓展到pc機(jī)應(yīng)用，至今已發(fā)布并不斷更新了多個(gè)windows下的開(kāi)發(fā)包，基于pc桌面的各種

5、kinect應(yīng)用不斷涌現(xiàn)。 kinect外觀及工作原理如圖1所示，主要部件由紅外線發(fā)射器、rgb彩色攝像頭、紅外線cmos攝像頭所構(gòu)成的3d深度傳感器以及麥克風(fēng)陣列組成。底座馬達(dá)可驅(qū)動(dòng)kinect左右旋轉(zhuǎn)27度，具有追焦功能，陣列式麥克風(fēng)可捕獲聲音信號(hào)。 kinect的深度傳感器可以收集視野范圍內(nèi)的每一點(diǎn)，形成一幅代表周圍環(huán)境的景深圖像，并以每秒30幀的速度生成深度圖像流，實(shí)時(shí)3d地再現(xiàn)周圍環(huán)境，然后再通過(guò)先進(jìn)的算法對(duì)3d圖像進(jìn)行人物識(shí)別、場(chǎng)景識(shí)別、骨骼節(jié)點(diǎn)跟蹤、手勢(shì)識(shí)別甚至面部表情識(shí)別等，從而完成三維輸入輸出5。kinect作為一種三維交互技術(shù)，開(kāi)始在游戲、智能機(jī)器人控制、視頻會(huì)議、虛擬教學(xué)

6、等方面得到較廣泛的應(yīng)用。為了促進(jìn)kinect研發(fā)與課程建設(shè)的深入整合，微軟亞洲研究院不定期舉辦面向全國(guó)高校教師的kinect for windows研討會(huì)6，為高校教師提供一個(gè)交流和探討kinect研發(fā)的平臺(tái)，讓更多的師生受益于這一先進(jìn)的技術(shù)，目前完成了智能機(jī)器人控制、手語(yǔ)識(shí)別與教學(xué)、空中書寫等成功教學(xué)應(yīng)用案例7。 利用kinect構(gòu)建虛擬課堂教學(xué)情境具有以下優(yōu)勢(shì)： （1）場(chǎng)景的三維性與高仿真性。相對(duì)于傳統(tǒng)ppt、音視頻播放類多媒體課件，kinect捕獲的是實(shí)時(shí)3d場(chǎng)景，并且能方便與unity3d等三維引擎虛擬場(chǎng)景立體融合，可以360度查看場(chǎng)景，具有更好的擬真度、更高的沉浸感和構(gòu)想性。 （2）

7、情境活動(dòng)的高參與性與交互性。kinect的人體識(shí)別功能可以將課堂師生身體及動(dòng)作融合到預(yù)設(shè)的三維虛擬情境，實(shí)現(xiàn)虛實(shí)結(jié)合、虛實(shí)交互。聲音識(shí)別功能可以采集來(lái)自不同方位的聲音，并支持多種語(yǔ)言，語(yǔ)言指令可驅(qū)動(dòng)虛擬3d場(chǎng)景中的對(duì)象，從而提高情境教學(xué)活動(dòng)中學(xué)生的參與性與交互性。 2kinect構(gòu)建虛擬教學(xué)情境要素分析與設(shè)計(jì) （1）教學(xué)情境要素分析 情境是對(duì)學(xué)習(xí)新知能產(chǎn)生影響的、在時(shí)間和空間上特定的各種具體情形。語(yǔ)言使用情境（即語(yǔ)境）是指具體的、超語(yǔ)言的表現(xiàn)某種信息的因素的總和，它促使學(xué)習(xí)者參加語(yǔ)言交際活動(dòng)，并規(guī)定其言語(yǔ)行為在一定交際活動(dòng)范圍內(nèi)進(jìn)行8。通過(guò)對(duì)英語(yǔ)教學(xué)考察和相關(guān)文獻(xiàn)資料研究，英語(yǔ)教學(xué)情境應(yīng)包含的

8、關(guān)鍵因素有： 文化語(yǔ)境：是指與語(yǔ)言運(yùn)用相關(guān)的文化習(xí)俗、社會(huì)規(guī)范、價(jià)值觀念、行為規(guī)則、文化結(jié)構(gòu)等。語(yǔ)言習(xí)得就是對(duì)這些要素的文化適應(yīng)過(guò)程。 情景語(yǔ)境：是指與話語(yǔ)有關(guān)的環(huán)境因素，它包含了交際場(chǎng)景、話語(yǔ)范圍、話語(yǔ)基調(diào)、話語(yǔ)方式、交際對(duì)象、對(duì)象關(guān)系，交談起因等。 英語(yǔ)課堂教學(xué)情境應(yīng)該既包涵情景語(yǔ)境，也包涵文化語(yǔ)境，但由于課堂教學(xué)條件的制約，一些隱性的情境要素不便直觀有效地展示，只有借助虛擬化技術(shù)來(lái)輔助實(shí)現(xiàn)，虛實(shí)結(jié)合共同增強(qiáng)語(yǔ)言沉浸，將學(xué)習(xí)者拋錨在一個(gè)真實(shí)的英語(yǔ)情境中去體驗(yàn)語(yǔ)言，對(duì)持續(xù)不斷的語(yǔ)言輸入進(jìn)行感知，并引導(dǎo)語(yǔ)言輸出。 （2）kinect輔助創(chuàng)設(shè)虛擬教學(xué)情境的設(shè)計(jì) 在分析了英語(yǔ)教學(xué)情境要素之后，需要

9、根據(jù)kinect的技術(shù)特點(diǎn)，基于這些情境要素來(lái)創(chuàng)設(shè)可交互的模擬情境，并使其與真實(shí)情境距離縮減到最小限度。 針對(duì)當(dāng)前英語(yǔ)課堂教學(xué)中缺乏語(yǔ)言文化背景知識(shí)輸入、學(xué)生語(yǔ)言輸出不足等問(wèn)題，筆者在運(yùn)用kinect構(gòu)建課堂教學(xué)情境時(shí)遵循了以下兩點(diǎn)： 其一，提供可理解性輸入材料。知識(shí)獲取是一個(gè)在舊信息基礎(chǔ)上通過(guò)一系列的認(rèn)知活動(dòng)構(gòu)建意義并獲取新知識(shí)的過(guò)程，因此在語(yǔ)言學(xué)習(xí)中，要通過(guò)大量的輸入材料將學(xué)生帶入到一個(gè)與社會(huì)生活密切相關(guān)的情境中，輸入材料可以通過(guò)教師和學(xué)生的雙渠道輸入，并且輸入材料要盡可能具備直觀性、易理解性和趣味性特點(diǎn)。 其二，保持語(yǔ)言輸入與輸出的平衡性。在可理解輸入的基礎(chǔ)上，給學(xué)生提供更多的語(yǔ)言輸出機(jī)

10、會(huì)和情境，使學(xué)生在原有知識(shí)及語(yǔ)言的基礎(chǔ)上對(duì)所獲得的新知識(shí)與內(nèi)容進(jìn)行加工、重組、表達(dá)。 根據(jù)以上原則，筆者設(shè)計(jì)了以下幾種使用kinect創(chuàng)設(shè)的虛擬情境類型。 類型一：參與現(xiàn)場(chǎng)解說(shuō)。 教師或?qū)W生在課前收集或制作與教學(xué)主題相關(guān)的情境素材（圖片、音視頻、3d場(chǎng)景），并對(duì)內(nèi)容進(jìn)行英文解說(shuō)，kinect捕獲解說(shuō)員的身姿和語(yǔ)音，并通過(guò)背景識(shí)別和人物摳像將解說(shuō)員融合到虛擬場(chǎng)景中。解說(shuō)可以在課堂進(jìn)行，也可以課前錄制課堂播放。這種扮演“新聞主播”或“解說(shuō)員”的身份進(jìn)行現(xiàn)場(chǎng)講解，能使師生產(chǎn)生身臨其境的感覺(jué)。 類型二：情境會(huì)話。 一臺(tái)kinect可以同時(shí)追蹤兩人的肢體運(yùn)動(dòng)，并將兩套身體動(dòng)作與語(yǔ)言輸入融合到預(yù)設(shè)的會(huì)話場(chǎng)

11、境中，實(shí)現(xiàn)情境會(huì)話。 類型三：實(shí)時(shí)現(xiàn)場(chǎng)配音訓(xùn)練。 陣列式麥克風(fēng)可以清晰捕獲來(lái)自不同方位的聲音信息，教師通過(guò)播放卡通英文動(dòng)漫劇或經(jīng)典電影片段，并給學(xué)生分配演員角色，學(xué)生在前排座位即可根據(jù)劇情實(shí)現(xiàn)配音或?qū)Π妆硌荨?類型四：虛擬人偶與角色表演。 虛擬人偶（avatar）是虛擬場(chǎng)景中學(xué)習(xí)者的化身，學(xué)習(xí)者可以通過(guò)自己的想法來(lái)操作人偶，除基本的手勢(shì)動(dòng)作外，還可以辨識(shí)細(xì)微的臉部表情，如嘴巴開(kāi)合或眉毛挑動(dòng)，并將之反應(yīng)在虛擬人偶上。學(xué)生可以在自編的情境劇中舉辦生動(dòng)鮮活的虛擬人偶脫口秀，或操控不同人偶完成角色表演等。 類型五：游戲式協(xié)作學(xué)習(xí)。 是前面幾種情境類型的綜合應(yīng)用，把教學(xué)內(nèi)容按情境分解成一系列關(guān)卡，學(xué)生分

12、組協(xié)同活動(dòng)來(lái)完成不同的關(guān)卡任務(wù)和活動(dòng)序列。 二kinect構(gòu)建課堂虛擬教學(xué)情境系統(tǒng)的實(shí)現(xiàn)1kinect情境創(chuàng)設(shè)系統(tǒng) 系統(tǒng)結(jié)構(gòu)如圖2所示，在傳統(tǒng)多媒體教學(xué)系統(tǒng)中接入一臺(tái)kinect和安裝相應(yīng)的情境合成軟件實(shí)現(xiàn)虛擬情境創(chuàng)建。   kinect捕獲課堂中學(xué)生的語(yǔ)音、肢體動(dòng)作等實(shí)時(shí)情境，并通過(guò)情境合成軟件將實(shí)時(shí)情境與預(yù)設(shè)情境實(shí)時(shí)融合，再通過(guò)投影和音響系統(tǒng)輸出。 2情境合成軟件結(jié)構(gòu) kinect情境合成軟件系統(tǒng)包括三層：情境輸入層，中間件層，情境應(yīng)用層，如圖3所示。   （1）情境輸入層 包括實(shí)時(shí)情境和預(yù)設(shè)情境輸入。預(yù)設(shè)情境是根據(jù)教學(xué)主題的需要，由教師或教學(xué)設(shè)計(jì)人員課前制作的情境，包

13、括靜態(tài)會(huì)話場(chǎng)景、虛擬人偶情境、動(dòng)態(tài)協(xié)作情境等。實(shí)時(shí)情境是在課堂教學(xué)現(xiàn)場(chǎng)生成的情境，如聲音、動(dòng)作，教學(xué)活動(dòng)等。 （2）中間件層 包括底層驅(qū)動(dòng)和相關(guān)開(kāi)發(fā)包。目前開(kāi)發(fā)kinect應(yīng)用主要基于微軟官方發(fā)布的sdk和開(kāi)源社區(qū)的開(kāi)源驅(qū)動(dòng)，如openni（開(kāi)放自然交互聯(lián)盟）的openni framework9。openni開(kāi)發(fā)包提供了kinect在unity3d引擎中的應(yīng)用接口，而unity3d作為當(dāng)前的主流三維引擎，能較好的滿足教學(xué)情境的創(chuàng)建與管理要求，比如三維場(chǎng)景創(chuàng)建與管理的便捷性、渲染效果逼真、對(duì)機(jī)器性能要求較低等。所以筆者選用了openni的nite中間件來(lái)實(shí)現(xiàn)手勢(shì)偵測(cè)、手部分析、全身分析、場(chǎng)景分析

14、等核心模塊功能10，采用的開(kāi)發(fā)環(huán)境為windows7kinect for windows sdkopenni2（nite2）unity3dopencv。 （3）情境應(yīng)用層 open ni的nite中間件對(duì)外提供了一系列api接口，為構(gòu)建面向教學(xué)的情境應(yīng)用提供了基礎(chǔ)，在本系統(tǒng)中主要涉及到以下三類應(yīng)用。 虛實(shí)情境融合 虛實(shí)情境融合是將課堂真實(shí)情境（一般是活動(dòng)人像）與預(yù)設(shè)的虛擬情境合成形成新的完整情境，其主要是利用了kinect的摳像功能，kinect通過(guò)讀取深度圖像和骨骼節(jié)點(diǎn)，并通過(guò)一定的算法，可以實(shí)現(xiàn)將活動(dòng)人物從任意背景中分離出來(lái)，并合成到虛擬3d場(chǎng)景中。這大大降低了傳統(tǒng)綠屏摳像的純色背景要求，

15、在復(fù)雜的課堂場(chǎng)景中具有更好的適應(yīng)性。 語(yǔ)音識(shí)別 kinect麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流通過(guò)音頻增強(qiáng)效果算法處理來(lái)屏蔽背景噪聲，并可以實(shí)時(shí)錄制到虛擬場(chǎng)景中播放，進(jìn)而在“語(yǔ)音命令、聲音特征識(shí)別、語(yǔ)種識(shí)別、情境會(huì)話、語(yǔ)氣語(yǔ)調(diào)情感探測(cè)等多個(gè)方面開(kāi)展應(yīng)用，目前支持英語(yǔ)（5個(gè)區(qū)域）、日語(yǔ)、法語(yǔ)、西班牙語(yǔ)等多個(gè)語(yǔ)種。 表情識(shí)別與驅(qū)動(dòng) 表情識(shí)別和驅(qū)動(dòng)是指使用面部追蹤的數(shù)據(jù)來(lái)改變虛擬人偶的動(dòng)畫參數(shù)實(shí)現(xiàn)模擬臉部表情。借助基于kinect的第三方插件如faceshift可以實(shí)現(xiàn)精確復(fù)制人臉的表情，并且無(wú)延時(shí)的驅(qū)動(dòng)3d場(chǎng)景中人偶的面部表情。 三英語(yǔ)虛擬情境教學(xué)應(yīng)用案例筆者以新視野大學(xué)英語(yǔ)（第二版）讀寫教程的第三冊(cè)第四

16、單元“five famous symbols of american culture（美國(guó)文化的五大象征）”為例，采用kinect輔助構(gòu)建虛擬教學(xué)情境，實(shí)施課堂情境教學(xué)。教學(xué)過(guò)程主要分為“創(chuàng)設(shè)情境、體驗(yàn)情境、演繹情境和反思評(píng)價(jià)”四個(gè)環(huán)節(jié)，在每個(gè)環(huán)節(jié)中分別采用了現(xiàn)場(chǎng)解說(shuō)、情境會(huì)話、人偶脫口秀等虛擬情境互動(dòng)，如圖4所示。   情境創(chuàng)設(shè)：教師通過(guò)布置課前作業(yè)“中國(guó)的文化象征”導(dǎo)入課程，并分小組完成有關(guān)文化象征的場(chǎng)景資料（圖片、音視頻）收集整理、解說(shuō)詞準(zhǔn)備等。課堂上每組選派一名或兩名代表完成“參與現(xiàn)場(chǎng)主題講解”。學(xué)生通過(guò)資料收集和現(xiàn)場(chǎng)解說(shuō)來(lái)感性了解中美文化差異。圖5為虛擬融合的課堂現(xiàn)場(chǎng)解說(shuō)場(chǎng)

17、景。 情境體驗(yàn)：每種文化象征元素通過(guò)相關(guān)視頻或三維場(chǎng)景展示，學(xué)生通過(guò)觀摩體驗(yàn)，部分環(huán)節(jié)學(xué)生可融入場(chǎng)景進(jìn)行簡(jiǎn)短情境會(huì)話來(lái)深度體驗(yàn)。 情境演繹：學(xué)生對(duì)美國(guó)文化的五大象征了解后，可以將自己的理解用英語(yǔ)總結(jié)表達(dá)輸出，為此教師制作或下載了“自由女神”、“芭比娃娃”、“山姆大叔”等人偶模型及相關(guān)場(chǎng)景，小組選派代表操控虛擬人偶，以第一人稱完成“自我介紹”脫口秀表演，其他同學(xué)觀摩并評(píng)價(jià)。圖6是“芭比娃娃”來(lái)到熟悉的校園作“自我介紹”。   反思評(píng)價(jià)：在每個(gè)教學(xué)環(huán)節(jié)結(jié)束后，學(xué)生對(duì)自己的課堂表現(xiàn)進(jìn)行反思，同時(shí)根據(jù)“小組成員評(píng)價(jià)表”和“小組互評(píng)表”對(duì)其他同學(xué)進(jìn)行評(píng)價(jià)，發(fā)現(xiàn)并學(xué)習(xí)其他同學(xué)的優(yōu)點(diǎn)，進(jìn)行優(yōu)勢(shì)互補(bǔ)

18、。 評(píng)述：相比傳統(tǒng)課堂教學(xué)，kinect創(chuàng)設(shè)的虛擬交互情境及給師生帶來(lái)了較新的學(xué)習(xí)體驗(yàn)，學(xué)生的學(xué)習(xí)興趣明顯提高，課題氣氛活躍，學(xué)習(xí)沉浸感有所增強(qiáng)；學(xué)生參與度增加對(duì)學(xué)生提出了更高的要求，尤其是需要學(xué)生課前完成更多的知識(shí)準(zhǔn)備。而教師在課堂中主要是處于組織與引導(dǎo)角色，但課前的教學(xué)準(zhǔn)備是一個(gè)不小的挑戰(zhàn)。 四結(jié)語(yǔ)kinect體感交互技術(shù)能為課堂教學(xué)營(yíng)造擬真的情境，對(duì)改善傳統(tǒng)課堂的去情境化與抽象化、增強(qiáng)學(xué)生學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)互動(dòng)，具有實(shí)踐意義。相比專業(yè)情境教學(xué)系統(tǒng)，kinect成本低廉，且與現(xiàn)有的多媒體系統(tǒng)或語(yǔ)言教學(xué)系統(tǒng)集成非常容易。 現(xiàn)行外語(yǔ)教學(xué)仍以按線性結(jié)構(gòu)設(shè)計(jì)的靜態(tài)教材為主，留給教師和學(xué)生的余地都比較少，而虛擬現(xiàn)實(shí)及體感交互技術(shù)的發(fā)展為體感教材（課件）開(kāi)發(fā)及主控式體感教學(xué)模式、