【基于Kinect的人機(jī)協(xié)作危險(xiǎn)作業(yè)控制系統(tǒng)設(shè)計(jì)與功能實(shí)現(xiàn)5100字（論文）】

基于Kinect的人機(jī)協(xié)作危險(xiǎn)作業(yè)控制系統(tǒng)設(shè)計(jì)與功能實(shí)現(xiàn)TOC\o"1-2"\h\u203461引言 0148902Kinect體感技術(shù) 0107402.1Kinect的硬件結(jié)構(gòu) 1103642.2Kinect的工作原理 1273613系統(tǒng)開發(fā)環(huán)境與設(shè)計(jì)方案 2129683.1硬件環(huán)境 250203.2軟件開發(fā)環(huán)境 2226143.3系統(tǒng)設(shè)計(jì)方案 2251154系統(tǒng)功能實(shí)現(xiàn) 3207054.1虛擬體感鼠標(biāo) 3257334.2人體動(dòng)作識(shí)別 6摘要：隨著信息技術(shù)的蓬勃發(fā)展，計(jì)算機(jī)作為人們?nèi)粘９ぷ?、生活、學(xué)習(xí)、教育和娛樂等方面重要的工具，扮演著不可或缺的角色。同時(shí)人與計(jì)算機(jī)的交互方式也在逐漸變化，由傳統(tǒng)的鼠標(biāo)、鍵盤和手柄等外設(shè)設(shè)備到基于觸控面板的觸控操作，但是人機(jī)協(xié)作方式依然屬于接觸式，不能脫離雙手操控具有約束性、復(fù)雜性和局限性等。伴隨著各種超大顯示屏、AR和虛擬現(xiàn)實(shí)等新技術(shù)的出現(xiàn)，基于計(jì)算機(jī)視覺的人機(jī)協(xié)作方式得到廣泛的重視和研究，通過攝像頭捕獲人體活動(dòng)中的肢體信息和手勢(shì)信息等，然后通過計(jì)算機(jī)進(jìn)行分析處理，識(shí)別各種姿勢(shì)和手勢(shì)的含義，實(shí)現(xiàn)人與計(jì)算機(jī)更加自然、直觀和簡(jiǎn)潔的交互。通過微軟的Kinect體感設(shè)備，能高效且低成本的實(shí)時(shí)獲取人體的彩色圖像、深度圖像和骨骼數(shù)據(jù)等運(yùn)動(dòng)信息，使得人機(jī)協(xié)作方式實(shí)現(xiàn)更加簡(jiǎn)單和多樣化。本文本文主要研究了基于Kinect的人機(jī)協(xié)作技術(shù)及其在危險(xiǎn)作業(yè)控制系統(tǒng)中的應(yīng)用。通過Kinect傳感器實(shí)時(shí)獲取人體各種運(yùn)動(dòng)信息，進(jìn)行手勢(shì)識(shí)別和人體動(dòng)作識(shí)別的研究，并根據(jù)研究結(jié)果實(shí)現(xiàn)一套人機(jī)協(xié)作系統(tǒng)。關(guān)鍵詞：Kinect；人機(jī)協(xié)作；動(dòng)作識(shí)別；手勢(shì)識(shí)別1引言煤與天然氣，石油是我國(guó)最主要的大三能源。其中，作為最傳統(tǒng)的能源之一的煤炭資源，是目前我國(guó)最重要的能源之一，它的發(fā)展前景將直接影響到國(guó)家能源安全及社會(huì)主義現(xiàn)代化的實(shí)現(xiàn)。隨著我國(guó)燃煤，用電的需求越來(lái)越大，對(duì)煤礦資源的開采量也越來(lái)越大，與此同時(shí)，礦井事故的發(fā)生也越來(lái)越頻繁，危害最大的便是火災(zāi)災(zāi)害。經(jīng)研究，造成煤礦火災(zāi)中工作人員的喪生的原因，除了礦山安全設(shè)備缺乏，還有一個(gè)重要的原因就是對(duì)工作人員的培訓(xùn)不夠。由于礦井環(huán)境比較特殊，沒有辦法在礦上進(jìn)行真實(shí)的逃生演練，而傳統(tǒng)的逃生培訓(xùn)只是通過一些圖片及文字，根本無(wú)法達(dá)到培訓(xùn)的效果。當(dāng)真實(shí)的礦井火災(zāi)來(lái)臨時(shí)，由于工作人員從未有過這種經(jīng)驗(yàn)，內(nèi)心的恐懼以及無(wú)所適從會(huì)加大他催難的幾率。因此，模擬基于Kinect的人機(jī)協(xié)作危險(xiǎn)作業(yè)控制系統(tǒng)便具有重大的意義。2Kinect體感技術(shù)2010年6月微軟的新一代體感設(shè)備Kinect上市，配合Xbox360主機(jī)顛覆了傳統(tǒng)的游戲操作的單一性和拘束性，給游戲玩家?guī)?lái)全新的游戲體驗(yàn)。Kinect體感設(shè)備創(chuàng)造了兩個(gè)月內(nèi)銷售800萬(wàn)多臺(tái)的吉尼斯世界紀(jì)錄。Kinect的發(fā)布不僅給游戲開發(fā)者帶來(lái)新的活力，也使研究人員能低成本獲取視頻中人體各關(guān)節(jié)點(diǎn)三維坐標(biāo)信息和場(chǎng)景深度信息等。隨后2013年微軟又發(fā)布了新的Kinect，稱為Kinectv2}Kinectv2在骨骼點(diǎn)精度、性能和抗干擾性較上一代Kinect明顯提升1301。2015年1月微軟將縮小化的Kinect應(yīng)用于自家Holol:xns全息影像頭盔，提供精準(zhǔn)且豐富的手勢(shì)操作等。2018年5月在微軟全球開發(fā)者大會(huì)上，微軟發(fā)布了全新的Kinect，稱為ProjectKinectforAzure，該設(shè)備主要應(yīng)用于AI和VR等領(lǐng)域。2.1Kinect的硬件結(jié)構(gòu)Kinectv2較上一代在性能和抗干擾性具有明顯優(yōu)勢(shì)，本課題的研究和實(shí)現(xiàn)是基于新一代的Kinectv2傳感器進(jìn)行信息部分的采集。Kinectv2設(shè)備的其中6個(gè)主要組件結(jié)構(gòu)和參數(shù)如下所示。（1）RGB攝像頭組件:該攝像頭可以實(shí)時(shí)傳輸可視范圍內(nèi)的彩色視頻圖像，其提供最大分辨率為1920*1080,30印s的彩色視頻流。（2）麥克風(fēng)陣列組件:由4個(gè)成L形布局的麥克風(fēng)組成，具有聲音過濾、噪聲消除和聲音采集等功能，提供I6kHz,16bit單聲道音頻，用于語(yǔ)言識(shí)別和聲源定位等。（3）紅外投影機(jī)組件:負(fù)責(zé)發(fā)射一束紅外光激光，然后光線在遇到障礙物時(shí)會(huì)發(fā)生反射，反射時(shí)產(chǎn)生光斑會(huì)被紅外攝像頭捕獲。（4）紅外攝像頭組件:負(fù)責(zé)接收反射產(chǎn)生的光斑，然后提供給后續(xù)的Soc芯片處理產(chǎn)生深度圖像。（5）USB3.0集線器組件:可以通過提供最高傳輸速率為S.OGbps保證各種視頻和音頻信息的傳輸，電源部分可以提供5}12W的輸出功率。（6）PS1080Soc芯片組件:該芯片組件堪稱Kinect設(shè)備的“心臟”，具有強(qiáng)大并行邏輯計(jì)算能力，將接收的紅外光譜進(jìn)行分析產(chǎn)生視野范圍內(nèi)的人或物體的深度圖像，可以提供分辨率為512*424、30fps的深度視頻流。2.2Kinect的工作原理Kinect最重要的功能是提供場(chǎng)景中三維深度信息，通過紅外發(fā)射器和紅外接收器進(jìn)行場(chǎng)景中信息采集，然后傳輸給內(nèi)部芯片進(jìn)行處理后，輸出深度圖像數(shù)據(jù)。目前業(yè)內(nèi)主流探測(cè)場(chǎng)景中物體的深度信息主要有:荃于RGB攝像頭的雙目立體視覺，基于超聲波的雷達(dá)探測(cè)和基于3D結(jié)構(gòu)光技術(shù)的深度探測(cè)等131微軟的Kinect的深度圖像形成就是采用類似于結(jié)構(gòu)光的LightCoding技術(shù)方案，紅外發(fā)射器向背景空間投射一束紅外光，當(dāng)紅外光遇到物體時(shí)因其表面的粗糙程度不同，會(huì)反射形成不同的光斑，相當(dāng)于對(duì)空間中物體進(jìn)行“光編碼13?1。如下圖2.2所示，Kinect在手部位形成的光斑，同時(shí)空間中的紅外線圖像會(huì)被紅外接收器采集到，傳輸給Kinect內(nèi)部的Soc芯片分析處理，從而得到Kinect視野范I}}內(nèi)的二維深度信息。深度圖像是普通的RGB彩色圖像的基礎(chǔ)上加上深度信息形成的灰度圖像，Kinect將RGB攝像頭采集信息和獲取的場(chǎng)景深度信息進(jìn)行合并轉(zhuǎn)換。像素的灰度值大小反映了物體與Kinect攝像頭正面的水平距離關(guān)系，與Kinect越近灰度值越小，越遠(yuǎn)則越大。深度圖像在提供更多場(chǎng)景空間的深度信息，同時(shí)減小光照變化等因素的干擾，使得在光線較暗時(shí)，仍然獲取場(chǎng)景中足夠的空間信息。Kinect基于深度圖像處理后提供骨骼跟蹤技術(shù)，對(duì)視野范圍中人體進(jìn)行關(guān)節(jié)點(diǎn)的定位和追蹤，最新的Kinectv2可以同時(shí)顯示6個(gè)人物，且主動(dòng)追蹤2個(gè)人物的全身25個(gè)骨骼點(diǎn)。Kinect深度圖像的產(chǎn)生涉及了計(jì)算機(jī)圖形視覺方面的眾多技術(shù)，包括多目標(biāo)檢測(cè)、邊緣檢測(cè)、噪聲處理、輪廓提取和人體目標(biāo)特征分類等，將人體從背景環(huán)境中剝離。由于人體各個(gè)部位在視頻中會(huì)出現(xiàn)相互重疊和遮擋等情況，分別從正面、反面、俯視等多角度去分析處理，結(jié)合大數(shù)據(jù)和機(jī)器學(xué)習(xí)訓(xùn)練后的模型，最終確定圖像中局部像素為具體的骨骼點(diǎn)。Kinect的骨骼追蹤技術(shù)可以實(shí)現(xiàn)針對(duì)不同身高和體型的對(duì)象，從小孩到成人都可以準(zhǔn)確實(shí)現(xiàn)骨骼識(shí)別和追蹤，同時(shí)對(duì)不同姿態(tài)時(shí)的骨骼點(diǎn)也能準(zhǔn)確識(shí)別，比如下蹲、轉(zhuǎn)身和坐在椅子上等情況。Kinect體感設(shè)備是主要的硬件部分，相應(yīng)的后臺(tái)軟件也異常強(qiáng)大，目前Kinect主要的SDK（SoftwareDevelopmentKit）有兩種分別是OpenNI和KinectforWindowsSDKoOpenNI是一種通用的自然語(yǔ)言交互框架，該框架支持多種語(yǔ)言、支持多平臺(tái)，由于是第三方提供相應(yīng)提供的API接口和功能較少。KinectforWindowsSDK是微軟官方提供的，支持多種語(yǔ)言，提供的API接口豐富且強(qiáng)大，對(duì)開發(fā)者使用難度較低，但只支持Windows平臺(tái)。3系統(tǒng)開發(fā)環(huán)境與設(shè)計(jì)方案該系統(tǒng)平臺(tái)包括硬件設(shè)備和軟件兩個(gè)部分，硬件部分進(jìn)行手勢(shì)和肢體動(dòng)作視頻采集以及視頻圖像顯示，軟件部分進(jìn)行運(yùn)動(dòng)視頻信息的處理和分析。3.1硬件環(huán)境(1)PC機(jī)兩臺(tái)，參數(shù)如下:操作系統(tǒng):Windows1064位專業(yè)版內(nèi)存:32GBCPU處理器:i7-8700k主頻4.OGHz顯卡:GTX1080Ti顯存頻率11008MHz顯存容量1IGB(2)Hitachi舊立投影儀五臺(tái)(3)深度傳感器Kinectv2一臺(tái)3.2軟件開發(fā)環(huán)境(1)開發(fā)工具:VisualStudio2017,C#VisualStudio2017是微軟在2017發(fā)布的開發(fā)工具，主要基于微軟自家的Windows桌面操作系統(tǒng)平臺(tái)打造的開發(fā)工具。(2)驅(qū)動(dòng)工具:KinectforWindowsSDKv2.0KinectforWindowsSDK是微軟基于最新的體感傳感器KinectV2發(fā)布的SDK，適用于Windows平臺(tái)，通過KinectV2采集圖像和聲音等信息后，通過該SDK處理后，提供一系列的API讓開發(fā)者獲取各種彩色、深度、骨骼和語(yǔ)音等信息。(3)計(jì)算機(jī)視覺庫(kù):OpenCV3.0OpenCV是英特爾在1999年建立的開源計(jì)算機(jī)視覺庫(kù)，該視覺庫(kù)集成眾多圖像處理、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等領(lǐng)域的各種算法和源代碼，用戶通過API直接調(diào)用相關(guān)函數(shù)實(shí)現(xiàn)，無(wú)需重復(fù)實(shí)現(xiàn)，對(duì)各種平臺(tái)如Windows,Linux,MacOS操作系統(tǒng)提供良好的支持，同時(shí)提供C++,C#,Python和MATLAB等語(yǔ)言支持。3.3系統(tǒng)設(shè)計(jì)方案3.3.1系統(tǒng)框架本文設(shè)計(jì)的人機(jī)協(xié)作危險(xiǎn)作業(yè)控制系統(tǒng)，主要分為四大模塊:信息采集模塊，識(shí)別模塊，交互模塊和顯示模塊。系統(tǒng)的架構(gòu)圖如下圖5.1所示:采集模塊:該模塊主要通過Kinectv2傳感器進(jìn)行場(chǎng)景中人物的視頻圖像信息采集，通過KinectSDK進(jìn)行各種信息預(yù)處理后提供后臺(tái)處理，通過API提供給識(shí)別模塊使用。識(shí)別模塊:該模塊是系統(tǒng)的核心模塊，主要包括手勢(shì)識(shí)別和動(dòng)作識(shí)別，根據(jù)人物在不同的場(chǎng)景選擇手勢(shì)識(shí)別或動(dòng)作識(shí)別，讓體驗(yàn)者使用身體語(yǔ)言進(jìn)行人機(jī)協(xié)作。交互模塊:識(shí)別模塊將身體動(dòng)作識(shí)別后，會(huì)將對(duì)應(yīng)的指令輸入給控制端，如手掌從左向右滑動(dòng)對(duì)應(yīng)下一頁(yè)、右手大拇指與食指成V字型對(duì)應(yīng)鼠標(biāo)單擊事件等;系統(tǒng)界面會(huì)提供手勢(shì)識(shí)別和動(dòng)作識(shí)別中若干具體參數(shù)的設(shè)置，如Kinect的可視范圍、手勢(shì)識(shí)別的靈敏度和動(dòng)作模板庫(kù)選擇等。顯示模塊:根據(jù)五臺(tái)投影儀及各種燈光搭建的全景全環(huán)繞虛擬環(huán)境，進(jìn)行如網(wǎng)頁(yè)瀏覽、視頻播放和PPT展示等。圖5.1人機(jī)協(xié)作系統(tǒng)結(jié)構(gòu)圖3.3.2系統(tǒng)流程整個(gè)人機(jī)協(xié)作系統(tǒng)從流程上劃分主要分為三個(gè)部分，分別為Kinect硬件層、手勢(shì)和動(dòng)作識(shí)別層和應(yīng)用層，如圖5.2所示人機(jī)協(xié)作系統(tǒng)流程圖，具體介紹如下。第一部分Kinect硬件層，主要通過Kinectv2硬件設(shè)備進(jìn)行場(chǎng)景中的彩色圖像、深度圖像和骨骼信息的實(shí)時(shí)采集，并將采集后的信息實(shí)時(shí)通過USB3.0接口高速傳輸?shù)終inectSDK進(jìn)行計(jì)算處理，并將計(jì)算結(jié)果以API形式提供給后續(xù)流程調(diào)用。第二部分手勢(shì)和動(dòng)作識(shí)別層，手勢(shì)識(shí)別是基于Kinect獲取的彩色圖像、深度圖像和骨骼數(shù)據(jù)進(jìn)行目標(biāo)人體的手勢(shì)定位、分割、提取、平滑和輪廓采樣等處理后，提取手勢(shì)特征基于指尖檢測(cè)方法實(shí)現(xiàn)靜態(tài)手勢(shì)識(shí)別。人體動(dòng)作識(shí)別主要是基于KinectforSDK提供的骨骼追蹤和骨骼坐標(biāo)信息，實(shí)時(shí)追蹤距離Kinect垂直方向最近的人體，通過關(guān)鍵幀和人體結(jié)構(gòu)向量進(jìn)行人體運(yùn)動(dòng)特征提取，基于改進(jìn)后的DTW算法和提前錄制好的標(biāo)準(zhǔn)動(dòng)作模板庫(kù)進(jìn)行人體動(dòng)作的識(shí)別。第三部分應(yīng)用層，通過Kinect的骨骼追蹤技術(shù)實(shí)現(xiàn)右手與鼠標(biāo)映射的虛擬鼠標(biāo)，基于上一層的識(shí)別技術(shù)進(jìn)行指令輸入。在靜態(tài)手勢(shì)識(shí)別基礎(chǔ)上，實(shí)現(xiàn)手勢(shì)與鼠標(biāo)事件(如單擊、雙擊和滾動(dòng)等)一一映射;在人體動(dòng)作識(shí)別上，實(shí)現(xiàn)日常12余種肢體動(dòng)作識(shí)別與場(chǎng)景游戲互動(dòng)。在不借助鼠標(biāo)和鍵盤等外設(shè)輔助情況下，實(shí)現(xiàn)用戶與計(jì)算機(jī)自由流暢的交互體驗(yàn)。4系統(tǒng)功能實(shí)現(xiàn)4.1虛擬體感鼠標(biāo)選擇右手作為追蹤目標(biāo)，根據(jù)實(shí)時(shí)獲取的右手骨骼坐標(biāo)值進(jìn)行骨骼坐標(biāo)系與鼠標(biāo)坐標(biāo)系轉(zhuǎn)換。右手在移動(dòng)操作時(shí)會(huì)產(chǎn)生抖動(dòng)現(xiàn)象，若直接進(jìn)行坐標(biāo)系轉(zhuǎn)換，鼠標(biāo)在顯示屏上會(huì)不停抖動(dòng)。本文采用放大骨骼坐標(biāo)系的方法來(lái)消除抖動(dòng)，右手關(guān)節(jié)點(diǎn)B(x,y,z)的坐標(biāo)系轉(zhuǎn)換鼠標(biāo)坐標(biāo)的公式如4-1所示。在圖4.1中圖點(diǎn)，分別表示同一個(gè)點(diǎn)在不同坐標(biāo)的表示，width和heigth分別表示顯示屏幕的長(zhǎng)和寬。鼠標(biāo)坐標(biāo)系中限制坐標(biāo)系為0-65535之間。（4-1）計(jì)算機(jī)顯示器坐標(biāo)系與鼠標(biāo)坐標(biāo)系按公式4-2進(jìn)行轉(zhuǎn)換。（4-2）圖4.1同一點(diǎn)在三種坐標(biāo)系轉(zhuǎn)換在實(shí)際場(chǎng)景應(yīng)用中發(fā)現(xiàn)，由于超大顯示屏的原因，在虛擬鼠標(biāo)進(jìn)行快速移動(dòng)和精準(zhǔn)移動(dòng)兩種不能兼具。本系統(tǒng)在鼠標(biāo)移動(dòng)上設(shè)計(jì)兩種移動(dòng)模式，普通模式下是快速移動(dòng)，當(dāng)右手抬起與肩旁平行時(shí)為精準(zhǔn)移動(dòng)。在右手移動(dòng)后暫停超過2秒后，系統(tǒng)會(huì)進(jìn)入手勢(shì)識(shí)別狀態(tài)，根據(jù)手勢(shì)識(shí)別的結(jié)果與鼠標(biāo)事件進(jìn)行映射，如表4.1所示手勢(shì)與鼠標(biāo)事件映射表。表4.1手勢(shì)與鼠標(biāo)事件映射表基于KinectSDK提供的骨骼追蹤技術(shù)和本文的靜態(tài)手勢(shì)識(shí)別算法實(shí)現(xiàn)虛擬體感鼠標(biāo)，通過雙手的移動(dòng)和手勢(shì)代替?zhèn)鹘y(tǒng)的鼠標(biāo)操作，其虛擬鼠標(biāo)子系統(tǒng)工作的流程圖如圖4.2所示。圖4.2虛擬眼標(biāo)操作流程圖4.2人體動(dòng)作識(shí)別人體動(dòng)作識(shí)別的系統(tǒng)主要包括兩個(gè)功能分別是，動(dòng)作模板錄制和動(dòng)作識(shí)別，其人體動(dòng)作識(shí)別子系統(tǒng)的操作流程圖如圖4.3所示。圖4.3人體動(dòng)作識(shí)別的系統(tǒng)界面(1)點(diǎn)擊系統(tǒng)界面的“Capture”按鈕，系統(tǒng)通過Kinectv2進(jìn)行三秒內(nèi)的動(dòng)作采集通過系統(tǒng)處理好保存為TXT文本的形式，一個(gè)動(dòng)作處理后存儲(chǔ)為15KB左右，進(jìn)行人工動(dòng)作名稱標(biāo)識(shí)后，點(diǎn)擊“Store”按鈕添加到動(dòng)作模板庫(kù)中。(2)點(diǎn)擊系統(tǒng)界面的“Read”按鈕，將動(dòng)作模板加載到系統(tǒng)內(nèi)存中，因?yàn)楸鞠到y(tǒng)動(dòng)作模板以數(shù)據(jù)形式保存通常在1OOMB之內(nèi)，放在內(nèi)存中加速識(shí)別速度。(3)點(diǎn)擊系統(tǒng)界面的“start”按鈕，通過Kinectv2進(jìn)行視野范圍內(nèi)的人體追蹤，Kinectv2可以同時(shí)顯示6個(gè)人的人體骨骼，并且最多對(duì)2個(gè)人進(jìn)行骨骼追蹤，為了便于識(shí)別效果，系統(tǒng)進(jìn)行只對(duì)距離Kinect水平距離最近的人進(jìn)行動(dòng)作識(shí)別，如圖5.10所示。為了便于進(jìn)行動(dòng)作的區(qū)分，系統(tǒng)進(jìn)行3秒內(nèi)的輪詢?nèi)梭w動(dòng)作信息采集，依次將識(shí)別結(jié)果放入一個(gè)隊(duì)列中，遠(yuǎn)程的場(chǎng)景顯示系統(tǒng)通過socket方式進(jìn)行輪詢