多通道用戶界面.doc

M u ltMi o d a l U se r In te rfa c eCU I Hong - yan( Com pu ter S cience D epa rtm en t, N orthw est Poly techn ica l U n iversity, X ian 710072, Ch ina)A b stra c t: U se r In te rface is mo re and mo re impo rtan t in comp u te r techno logy becau se of the rap idp rogre ss of comp u te r techno logy and In te rne t techno logy. The M u ltimoda l U se r In te rface is a new re sea rch a sp ec t in th is dom a in. It u se m any a lte rna ting device s and imp rove a lte rna ting effic iency. Th is a rtic le m ake de ta iled d iscu ssion on concep t of M u ltimoda l U se r In te rface and som e in te rac tion techno logy. A t the end of the a rtic le, we a lso in troduce the p rogre ss fo reground of the M u ltiModa l U se r In te rface.Key word s:U se r In te rface; M u ltiModa l U se r In te rface; H um an Comp u te r In te rac tion1. 3 人機(jī)界面的發(fā)展趨勢(shì)1 前 言1. 1 人機(jī)界面的定義人機(jī)界面是指人與計(jì)算機(jī)系統(tǒng)之間的通信媒體 或手段 ,它是人機(jī)雙向信息交換的支持軟件和硬件 ,是用戶使用計(jì)算機(jī)系統(tǒng)的綜合操作環(huán)境 。這里“界 面 ”定義為通信的媒體或手段 , 它的物化體現(xiàn)是有 關(guān)的支持軟件和硬件 ,如帶有鼠標(biāo)的圖形顯示終端 。人機(jī)界面也稱(chēng)用戶界面 。 衡量人機(jī)界面優(yōu)劣的標(biāo)準(zhǔn)在于是否對(duì)用戶友好 ,它包括外觀和感覺(jué)兩個(gè)方面 。人機(jī)界面的設(shè)計(jì)直接關(guān)系到人機(jī)關(guān)系的合理性 ,而研究人機(jī)界面則 主要針對(duì)兩個(gè)問(wèn)題 :顯示與控制 。1. 2人機(jī)交互的定義人機(jī)交互是人機(jī)界面學(xué)的一個(gè)分支 ,它是指用 戶與計(jì)算機(jī)系統(tǒng)之間的通信 ,是人與計(jì)算機(jī)之間各種符號(hào)和動(dòng)作的雙向信息交換 。實(shí)現(xiàn)人與計(jì)算機(jī)之 間通信的軟 、硬件系統(tǒng)即為交互系統(tǒng) 。這里的“交 互 ”也就是信息交換 , 包括計(jì)算機(jī)通過(guò)輸出或顯示設(shè)備給人提供信息 ,以及人通過(guò)輸入設(shè)備向計(jì)算機(jī) 輸入有關(guān)信息 。信息交換的形式有多種 ,例如鍵盤(pán) 、鼠標(biāo) 、顯示屏幕上的符號(hào)或圖形 ,也可以用聲音 、手 勢(shì)或身體的動(dòng)作等 。人機(jī)界面的發(fā)展經(jīng)歷了從命令行界面到當(dāng)前圖形和多媒體用戶界面的過(guò)程 ,其直接結(jié)果就是算機(jī)擁有了越來(lái)越多的用戶 ,用戶需要記憶和訓(xùn)的時(shí)間和強(qiáng)度都大幅度降低了 ,計(jì)算機(jī)呈現(xiàn)視覺(jué)覺(jué)信息的能力大大加強(qiáng) ,提高了用戶對(duì)信息表現(xiàn)式的選擇和控制能力以及接收信息的效率 。與此時(shí) ,隨著計(jì)算機(jī)表現(xiàn)形式的多樣化和用戶與計(jì)算交互方式的多樣化 ,傳統(tǒng)的交互手段如鍵盤(pán) 、鼠標(biāo)用途在縮減 ,人機(jī)交互方式正經(jīng)歷著一場(chǎng)重大的革 ,無(wú)處不在的計(jì)算使人與計(jì)算機(jī)之間產(chǎn)生了一新的交互方式 ,以滿足人們不斷增加的對(duì)信息訪和計(jì)算功能的需求 。為了適應(yīng)這種變化 ,出現(xiàn)了多通道人機(jī)界面術(shù) 。早在大約三十年前 N icho la s N egropon te 就已提出了多通道界面的構(gòu)想 , 他提出了“交談式計(jì)機(jī) ( conve rsa tiona l comp u te r) ”的 概 念 。人 可 以 用音 、手勢(shì) 、表情 、注視和肢體語(yǔ)言 ,也就是用他們?nèi)丈钪邢嗷ソ涣?的 方式 , 與 這樣 的 機(jī)器 進(jìn)行 交這正是今天多通道人機(jī)交互研究的理想 。多通道用戶界面通過(guò)不同通道與計(jì)算機(jī)進(jìn)行互 ,可以結(jié)合來(lái)自多個(gè)通道的信息 ,利用互補(bǔ)性來(lái)著提高界面對(duì)用戶輸入的識(shí)別性 ,還可以提高輸作者簡(jiǎn)介 :崔鴻雁 ( 1978 - ) ,女 ,江蘇阜寧人 ,碩士研究生 ,主研方向 :測(cè)控技術(shù)及嵌入式系統(tǒng) 。收稿日期 : 2005 - 01 - 17輸出帶寬 ,讓人們能夠在任何時(shí)間 、任何地點(diǎn)用更自然 、高效的方式與任何計(jì)算裝置進(jìn)行通訊和交流 。 同時(shí)社會(huì)用戶界面 ( SU I) 、網(wǎng)絡(luò)用戶界面 (NU I)也都是人機(jī)界面的發(fā)展方向 。人機(jī)界面未來(lái)的發(fā)展 趨勢(shì)是多通道 - 多媒體用戶界面和虛擬現(xiàn)實(shí)系統(tǒng) ,從而最終將進(jìn)入“人機(jī)和諧 ”的最高形式 。2 多通道用戶界面及交互技術(shù)2. 1概述通過(guò)不同通道與計(jì)算機(jī)系統(tǒng)進(jìn)行通訊的用戶界 面 ,稱(chēng)為多通道用戶界面 , 其中包括視覺(jué) 、聽(tīng)覺(jué) 、觸 覺(jué) 、動(dòng)覺(jué) 、言語(yǔ) 、手勢(shì) 、表情 、眼動(dòng)或神經(jīng)輸入 。多媒體用戶界面豐富了信息表現(xiàn)形式 ,發(fā)揮了 用戶感知信息的效率 ,拓寬了計(jì)算機(jī)到用戶的通信帶寬 。而用戶到計(jì)算機(jī)的通信帶寬卻停滯不前 ,至今仍停留在圖形用戶界面 ( GU I/W IM P ) 階段 , 從而 成為當(dāng)今人機(jī)交互技術(shù)的瓶頸 。多通道人機(jī)界面技術(shù)很好的解決了這個(gè)問(wèn)題 。 多通道界面旨在充分利用一個(gè)以上的感覺(jué)和運(yùn)動(dòng)通 道的互補(bǔ)特性來(lái)捕捉用戶的意向 ,從而增進(jìn)人機(jī)交互中的自然性 。人的感覺(jué)通道有視覺(jué) 、聽(tīng)覺(jué) 、觸覺(jué) 、 嗅覺(jué)和平衡等 ; 人的運(yùn)動(dòng)通道有手 、嘴 、眼 、頭 、足及身體等 ?，F(xiàn)在 ,計(jì)算機(jī)操作時(shí) ,人的眼和手十分累 , 效率也不高 。如果能夠?qū)⒙?tīng) 、說(shuō)和手 、眼等協(xié)同動(dòng) 作 ,采用多通道 、以自然方式交互 ,既可以實(shí)現(xiàn)高效人機(jī)通信 ,也可以由人或機(jī)器選擇最佳反應(yīng)通道 ,從 而不會(huì)使某一通道負(fù)擔(dān)過(guò)重 。2. 2多通道和虛擬現(xiàn)實(shí)技術(shù)目前 ,多媒體和虛擬現(xiàn)實(shí)系統(tǒng)人機(jī)界面的發(fā)展 ,正使人機(jī)交互技術(shù)經(jīng)歷著巨大的轉(zhuǎn)變 。下面介紹一 些多通道和虛擬現(xiàn)實(shí)技術(shù) 。2. 2. 1 眼動(dòng)跟蹤目前人機(jī)界面所用的任何人機(jī)交互技術(shù)幾乎都 有視覺(jué)的參與 。早期的視線跟蹤技術(shù)首先應(yīng)用于心 理學(xué)研究 ,后被用于人機(jī)交互 。通過(guò)對(duì)視覺(jué) - 眼動(dòng)系統(tǒng)的研究 ,可以得知人在 觀測(cè)各種外景和屏幕信息時(shí)的 掃描 選擇 和 注視 過(guò) 程 ,從而研究人的視覺(jué)感知和綜合機(jī)理 。并且在多 批量 、多目標(biāo) 、多任務(wù)情況下 ,對(duì)于不同位置 、大小 、 顏色 、速度目標(biāo)的眼動(dòng)敏感度 、延遲 、反映速度等具 體特性有深入細(xì)致的了解 。有關(guān)視覺(jué)輸入的人機(jī)界面研究主要涉及兩個(gè)方 面 :一是實(shí)現(xiàn)跟蹤原理和技術(shù)的研究 ;二是在使用這 種交互方式后 ,人機(jī)界面的設(shè)計(jì)技術(shù)和原理的研究 。在人機(jī)交互中對(duì)視線追蹤的基本要求有 : 要保證一定的精度 ,滿足使用要求 ; 對(duì)用戶基本無(wú)干擾 ;定位校正簡(jiǎn)單 ;可作為計(jì)算機(jī)的標(biāo)準(zhǔn)外設(shè) 。2. 2. 2 手勢(shì)識(shí)別以手勢(shì)體現(xiàn)人的意圖是一個(gè)非常自然的方式,將手勢(shì)運(yùn)用于計(jì)算機(jī)能夠很好地改善人機(jī)交互的效率。基于手勢(shì)的交互技術(shù)不同于那些使用手操作設(shè)備的交互技術(shù) 。利用計(jì)算機(jī)識(shí)別和解釋手勢(shì)輸入是 將手勢(shì)應(yīng)用于人機(jī)交互的關(guān)鍵前提 。目前 ,能識(shí)別手勢(shì)的典型交互設(shè)備是數(shù)據(jù)手套 ,它能對(duì)較為復(fù)雜的手的動(dòng)作進(jìn)行檢測(cè) ,包括手的位置和方向 、手指彎 曲度 ,并可根據(jù)這些信息對(duì)手勢(shì)進(jìn)行分類(lèi) 。手勢(shì)的識(shí)別可以有多種途徑 ,人們已經(jīng)研究過(guò)幾種交互技術(shù) ,包括手勢(shì)按鈕 、手勢(shì)定位器和手勢(shì)拾 取設(shè)備等等 ,這些交互設(shè)備尤其適合于三維空間交 互 ,起到二維空間交互中類(lèi)似交互技術(shù)的作用 。2. 2. 3 三維交互所有三維空間控制器的共同特點(diǎn)是都具有六個(gè)自由度 。對(duì)應(yīng)于描述三維對(duì)象的寬度 、深度 、高度 、俯仰角 、轉(zhuǎn)動(dòng)角 、偏轉(zhuǎn)角 。三維交互技術(shù)使用三維輸入輸出設(shè)備來(lái)完成交互任務(wù) ,主要的技術(shù)難點(diǎn)是如 何在三維空間中直接完成定位 、拾取與勾畫(huà)等交互 操作 。2. 2. 4 語(yǔ)音識(shí)別語(yǔ)音識(shí)別是新一代人機(jī)界面中最重要的技術(shù)之 一 。目前主流的語(yǔ)音識(shí)別技術(shù)是基于統(tǒng)計(jì)模式識(shí)別的基本理論 。計(jì)算機(jī)語(yǔ)音識(shí)別過(guò)程與人對(duì)語(yǔ)音識(shí)別的處理過(guò)程基本上是一致的 。計(jì)算機(jī)科學(xué)的進(jìn)展將提供用于表示和利用語(yǔ)音識(shí)別的體系結(jié)構(gòu)和平臺(tái) 。研究者將結(jié)合語(yǔ)音 、面部表情和手勢(shì) ,改善對(duì)語(yǔ)言的理解 ,并產(chǎn)生更自然 、更清晰的動(dòng)畫(huà)角色語(yǔ)音 ?，F(xiàn)在 ,語(yǔ)音識(shí)別已經(jīng)在金融 、電信和旅游 、娛樂(lè) 、軍事等許多方面取得了突破性的應(yīng)用 。語(yǔ)音合成技術(shù)把可視的文本信息轉(zhuǎn)化為可聽(tīng)的聲音信息 ,其應(yīng) 用的經(jīng)濟(jì)效益和社會(huì)效益前景良好 。語(yǔ)音無(wú)庸置疑地成為人與計(jì)算機(jī)等信息設(shè)備進(jìn)行交互的最重要的 “人機(jī)界面 ”。2. 2. 5 表情識(shí)別面部表情是人體語(yǔ)言的一部分 ,它與情緒之間 存在著千絲萬(wàn)縷的聯(lián)系 。如何感知 、記錄 、識(shí)別這些 變化過(guò)程是表情識(shí)別的關(guān)鍵 。計(jì)算機(jī)面部表情的識(shí)別通常分為三個(gè)步驟 ,即 表情的跟蹤 、表情的編碼和表情的識(shí)別 。計(jì)算機(jī)的表情識(shí)別技術(shù)可以使得人機(jī)交互更加自然 。2. 2. 6 自然語(yǔ)言理解隨著社會(huì)的日益信息化 ,人們?cè)絹?lái)越強(qiáng)烈的希 望用自然語(yǔ)言同計(jì)算機(jī)交流 。自然語(yǔ)言理解是自然 語(yǔ)言人機(jī)交互的基礎(chǔ) 。自然語(yǔ)言處理就是研究如何能讓計(jì)算機(jī)理解并 生成人們?nèi)粘Ｋ褂玫恼Z(yǔ)言 ,并對(duì)人給計(jì)算機(jī)提出人機(jī)界面領(lǐng)域 ,使得用戶界面更加靈活和易于使用 。隨著網(wǎng)絡(luò)的發(fā)展 ,手寫(xiě)識(shí)別與網(wǎng)絡(luò)的結(jié)合也是必然 的趨勢(shì) 。2. 3多通道用戶界面的特點(diǎn)多通道用戶界面的主要特點(diǎn)如下 :( 1 )使用多個(gè)感覺(jué)和效應(yīng)通道 。盡管感覺(jué)通道 側(cè)重于多媒體信息的接受 ,而效應(yīng)通道側(cè)重于交互 過(guò)程中控制與信息的輸入 ,但兩者是密不可分 、相互配合的 ;當(dāng)僅使用一種通道不能充分表達(dá)用戶的意 圖時(shí) ,需輔以其它通道的信息 ;有時(shí)使用輔助通道以增強(qiáng)表達(dá)力 ;需要特別強(qiáng)調(diào)的是 ,交替而獨(dú)立地使用 不同的通道不是真正意義上的多通道技術(shù) ,反之 ,應(yīng) 允許充分地并行協(xié)作的通道配合關(guān)系 。( 2 )三維的和直接操縱的 。人類(lèi)大多數(shù)活動(dòng)領(lǐng) 域具有三維和直接操縱特點(diǎn) ,人生活在三維空間 ,習(xí)慣于看 、聽(tīng)和操縱三維的客觀對(duì)象 ,并希望及時(shí)看到 這種控制的結(jié)果 。多通道人機(jī)交互的自然性反應(yīng)了 這種本質(zhì)特點(diǎn) 。( 3 )允許非精確的交互 。人類(lèi)在日常生活中習(xí) 慣于并大量使用非精確的信息交流 ,人類(lèi)語(yǔ)言本身就具有高度模糊性 。允許使用模糊的表達(dá)手段可以 避免不必要的認(rèn)知負(fù)荷 ,有利于提高交互活動(dòng)的自 然性和高效性 ;多通道人機(jī)交互技術(shù)主張以充分性代替精確性 。( 4 )交互雙向性 。人的感覺(jué)和效應(yīng)通道通常具 有雙向性的特點(diǎn) ,如視覺(jué)可看可注視 ,手可控制 、可觸及等 ,多通道用戶界面使用戶避免生硬的 、不自然的 、頻繁的 、耗時(shí)的通道切換 ,從而提高自然性和效 率 。例如視線跟蹤系統(tǒng)可促成視覺(jué)交互雙向性 ,聽(tīng)覺(jué)通道利用三維聽(tīng)覺(jué)定位器實(shí)現(xiàn)交互雙向性 ,這在單通道用戶界面中是難以想象的 。( 5 )交互的隱 含 性 。有 人認(rèn) 為 , 好的 用 戶界 面 應(yīng)當(dāng)使用戶把所有注意力均集中于完成任務(wù)而無(wú)需為界面分心 ,即好的用戶界面對(duì)用戶而言應(yīng)當(dāng)是不 存在界面 。追求交互自然性的多通道用戶界面并不現(xiàn)狀和未來(lái)方向 。( 2 )網(wǎng)絡(luò)通信服務(wù) 。網(wǎng)絡(luò)技術(shù)的應(yīng)用將人類(lèi)會(huì)帶入了信息化時(shí)代 。采用語(yǔ)音技術(shù)后 ,用戶在個(gè)過(guò)程中不用進(jìn)行繁瑣的操作 , 網(wǎng)絡(luò)將會(huì)向著“聽(tīng)會(huì)說(shuō) ”的實(shí)用化方向發(fā)展 。( 3 )電話信息應(yīng)用 。語(yǔ)音技術(shù)已逐漸在電信訊服務(wù)領(lǐng)域的智能電話查詢系統(tǒng)中展開(kāi)應(yīng)用 ,用只需撥打電話 ,就可實(shí)時(shí)獲取所需信息 。隨著互網(wǎng)的出現(xiàn)和推廣 ,在技術(shù)上語(yǔ)音與互聯(lián)網(wǎng)已能夠功的結(jié)合 。用戶可以通過(guò)電話 ,方便的發(fā)送電子件和類(lèi)似的留言信息 。( 4 )計(jì)算機(jī)輔助教育和遠(yuǎn)程教育 。多媒體的向教學(xué)也離不開(kāi)語(yǔ)音技術(shù)的應(yīng)用 ,網(wǎng)絡(luò)技術(shù)的發(fā)使得教育手段增多 ,“能聽(tīng)會(huì)說(shuō) ”的計(jì)算機(jī)輔助教必然是未來(lái)發(fā)展方向 。( 5 )計(jì)算機(jī)輔助設(shè)計(jì) 。由于手寫(xiě)體可以讓用像平時(shí)那樣 ,拿著筆任意勾勒思路 ,同時(shí)語(yǔ)音可在定程度上替代鍵盤(pán)的地位 ,這使得設(shè)計(jì)者能夠?qū)⒓旱牡南敕ㄗ匀坏谋憩F(xiàn)出來(lái) 。2. 5 多通道用戶界面研究的目標(biāo)多通道用戶界面研究的目標(biāo)是 : 交互自然使用戶盡可能多地利用已有的日常技能與計(jì)算機(jī)互 ,降低認(rèn)知負(fù)荷 ; 交互高效性 : 使人機(jī)通信信交換吞吐量更大 、形式更豐富 ,發(fā)揮人機(jī)彼此不同認(rèn)知潛力 ; 吸取已有人機(jī)交互技術(shù)的成果 ,與傳的用戶界面特別是廣泛流行的 W IM P / GU I兼容 ,使用戶 、專(zhuān)家用戶的知識(shí)和技能得以利用 ,不被淘汰3 多通道用戶界面及交互技術(shù)發(fā)展前景多通道用戶界面結(jié)合多個(gè)通道 ,可以發(fā)揮各通道獨(dú)特的優(yōu)勢(shì) ,利用互補(bǔ)帶來(lái)的靈活性 ,實(shí)現(xiàn)更面和效率更高的交互 ;結(jié)合多個(gè)通道的信息 ,可以用互補(bǔ)性來(lái)提高界面向用戶輸出時(shí)的表現(xiàn)力 。(下轉(zhuǎn)第 76頁(yè)因?yàn)榛疚⒎蛛娐吩诟哳l時(shí)極不穩(wěn)定 ,且容易受到噪聲的影響 ,所以并不實(shí)用 。實(shí)際的微分 1 到 微分 2的電路由圖 6 所示 ,運(yùn)放 A1 構(gòu)成微分 1 ,運(yùn)放 A2和 A 3構(gòu)成絕對(duì)值電路 ,運(yùn)放 A 4 構(gòu)成微分 2。 在微分 1中 ,通過(guò)增加電阻 R1 ,使得運(yùn)算放大器的輸出信號(hào)在未到達(dá) fn 之前就出現(xiàn)了頻率折點(diǎn) , 從而 使 fn 處的相移大大減小 ,并消除了共振峰 。電容 C1 的值為 R1C2 /R2 , 這樣就縮小了帶通 區(qū) 的帶 寬 , 從而大大減小了噪聲 。絕對(duì)值電路是從精密半波整流 器演變而來(lái) , A 3構(gòu)成輸出網(wǎng)絡(luò) , A2 構(gòu)成輸入求和網(wǎng) 絡(luò) 。微分 2的結(jié)構(gòu)與微分 1 一樣 ,只是參數(shù)的值有所不同 。伸系統(tǒng)之間 , 與牽伸 系 統(tǒng)構(gòu) 成閉 環(huán) 控制 , 就 可以 對(duì)M PO F的直徑進(jìn)行有效的控制 。該系統(tǒng)較高的測(cè)量 精度和信號(hào)處理效率 ,能夠使 M PO F 直徑穩(wěn)定在一定范圍之內(nèi) ,有效提高了 M PO F的成品率 。圖 7硬件配置系統(tǒng)圖 6 微分 1到微分 2的實(shí)際電路微機(jī)系統(tǒng)我們采用單片機(jī) A T89C51 來(lái)構(gòu)建 ,計(jì) 數(shù)脈沖的讀取采用中斷方式 ,用 CCD 的起始信號(hào)作 為中斷信號(hào) ,在中斷信號(hào)到來(lái)以后讀取計(jì)數(shù)脈沖 N 值并保存 ,然后清零計(jì)數(shù)器 ,再等待下一個(gè)計(jì)數(shù)脈沖 的到來(lái) 。將記錄的 N 值進(jìn)行處理就可以得到徑值 , 之后 ,通過(guò)顯示電路顯示 ,并傳送給牽伸控制系統(tǒng) 。圖 8 軟件系統(tǒng)參考文獻(xiàn) : 1 李新秋 ,徐光等 . CCD 外徑測(cè)量及控制 J . 橡膠工業(yè) ,1999: 238 - 240.許世文主編 . 計(jì)量光學(xué) M . 哈爾濱 : 哈爾濱工業(yè)大學(xué)出版社 , 1988.王慶有主編 . CCD 應(yīng)用技術(shù) M . 天津 : 天津大學(xué)出版社 , 2002.常丹 華 . 基 于 CPLD 技 術(shù) 的 CCD 驅(qū) 動(dòng) 時(shí) 序 產(chǎn) 生 方 法 J . 儀器技術(shù)與傳感器 . 2001: 26 - 28.張永強(qiáng) ,于榮金 . 塑料光纖 J . 燕山大學(xué)學(xué)報(bào) , 2003:58 - 64. 2 整個(gè)過(guò)程的硬件配置如圖所示 。4 結(jié)論7 所示 ,軟件系統(tǒng)如圖8 3 4 5 把基于 CCD 的直徑測(cè)量系統(tǒng)放在擠