智能網(wǎng)聯(lián)汽車計算平臺部署與測試課件：Kinect深度相機的認知與安裝

智能網(wǎng)聯(lián)汽車

計算平臺部署與測試

Kinect深度相機的認知與安裝任務1深度相機KinectV2驅動的認知目錄01.任務描述02.任務目標03.任務準備04.知識準備05.任務實施06.評價反饋01.任務描述最近，小劉忙于自己的課程任務，但他當前對于深度相機KinectV2驅動不太了解，而且需要將其安裝在自己的電腦上，請你準備一下，向他簡要介紹一下深度相機KinectV2驅動，并且?guī)椭瓿砂惭b任務，最后對學習效果進行評價。02.任務目標

通過學習，希望同學們完成以下任務。了解能夠深度相機KinectV2驅動。熟悉深度相機KinectV2驅動的安裝方法。熟悉深度相機KinectV2驅動安裝過程中常見問題的解決方法。能夠在電腦上正確安裝深度相機KinectV2驅動。能夠解決安裝過程中常見的問題。具有良好的團隊協(xié)作精神和較強的組織溝通能力。具備良好的職業(yè)道德。獲得多途徑檢索知識、分析解決問題以及多元化思考解決問題的方法，形成創(chuàng)新意識。03.任務準備常規(guī)實訓著裝防護裝備安裝有操作系統(tǒng)的計算機平臺教學設備教學課件、電腦主機教學工具04.知識準備深度相機，也被稱為三維相機或者RGBD相機，是一種能夠同時獲取場景的顏色信息和深度信息的相機技術。與傳統(tǒng)的RGB相機只能獲取顏色信息不同，深度相機通過使用紅外光或者其他特殊傳感器，可以獲取場景中物體和環(huán)境的三維結構信息。一、深度相機KinectV2驅動的概述1.深度相機的介紹深度相機的工作原理：基于ToF成像技術，實現(xiàn)調幅連續(xù)波（AMCW）時差測距（ToF）。這種相機將近紅外（NIR）頻譜中的調制光投射到場景中，然后記錄光線從相機傳播到場景，再從場景返回到相機所花費的間接時間測量值。處理這些測量值可以生成深度圖，深度圖是圖像每個像素的一組Z坐標值，以毫米為單位。一、深度相機KinectV2驅動的概述深度相機在多個領域有廣泛的應用。例如，它可以實現(xiàn)更精細自然的背景虛化，人像光效的模仿，動畫表情的實時轉移，以及三維美顏和人臉活體識別等功能。此外，還有針對戶外場景打造的3D結構光深度相機，解決了戶外強光下成像困難的痛點，賦能景區(qū)、校園、加油站、公共交通等戶外刷臉支付及人身核驗應用。一、深度相機KinectV2驅動的概述KinectV2是一款集成了彩色相機、深度傳感器、紅外發(fā)射器和麥克風陣列的硬件設備,也是美國微軟公司生產(chǎn)的Xbox第二代3D體感攝像機，包括彩色攝像頭（ColorCamera）、深度傳感器（DepthSensor）、麥克風陣列(MicrophoneArray)等部件，其中深度傳感器（DepthSensor）由紅外攝像機（IRCamera）和紅外投影儀（IRProjector）構成。驅動程序（DeviceDriver）全稱為“設備驅動程序”，是一種可以使計算機和設備進行通信的特殊程序。操作系統(tǒng)只有通過這類程序，才能控制相應的硬件設備。如果某設備的驅動程序未能正確安裝，該設備便不能正常工作。其驅動是為了使KinectV2能夠在計算機上正常工作而設計的軟件程序。一、深度相機KinectV2驅動的概述2.深度相機KinectV2的介紹深度圖像的每個像素數(shù)值都代表KinectV2距離此像素實際對應區(qū)域與相機的深度距離，因此KinectV2能夠直接輸出三維空間信息。同時，KinectV2的彩色相機用于獲取高清彩色圖像，而麥克風陣列則用于采集周圍的聲音信息，結合微軟的語音庫，可以實現(xiàn)語音識別等功能。一、深度相機KinectV2驅動的概述在安裝KinectV2驅動時，通常需要將設備連接到電腦上，并安裝相應的USB驅動。隨后，下載并安裝Kinect2.0SDK（軟件開發(fā)工具包）以支持設備的運行。這個SDK提供了必要的庫和工具，使得開發(fā)者能夠利用KinectV2進行各種應用程序的開發(fā)。驅動安裝完成后，KinectV2就可以通過其深度傳感器捕獲場景中的對象的深度信息。這主要依賴于結構光技術，即使用紅外線光源和紅外線相機。當紅外線光照射到場景中的對象時，光線會反射回設備并被紅外線相機捕捉。根據(jù)紅外線光照射和反射的時間差，KinectV2能夠計算出每個對象的距離和深度，生成深度圖像。一、深度相機KinectV2驅動的概述KinectV2的驅動按照開發(fā)商類型，可以分為官方驅動和第三方驅動。1.官方驅動深度相機KinectV2的官方驅動由微軟公司提供，包含在KinectForWindowsSDK2.0軟件包中，可以從微軟官網(wǎng)下載（）。二、深度相機KinectV2驅動的分類二、深度相機KinectV2驅動的分類KinectForWindowsSDK2.0軟件包包含以下內容：（1）KinectV2驅動程序，適用于Windows桌面操作系統(tǒng)及Windows嵌入式操作系統(tǒng)；（2）KinectV2應用編程接口（API）以及設備編程接口；（3）SDK使用范例代碼。二、深度相機KinectV2驅動的分類2.第三方驅動深度相機KinectV2的第三方驅動指由微軟以外的其它公司/組織/個人開發(fā)的驅動程序，最常用的OpenKinect。OpenKinect是一個開源社區(qū)，致力于將Kinect設備運行于各種PC操作系統(tǒng)上，包括Windows，Linux以及Mac，并允許多臺KinectV2設備連接到同一臺計算機上。OpenKinect的所有代碼可以在Github上得到（），其中驅動程序部分的代碼為libfreenect2，位于。05.任務實施1.在教師的引導下，以小組為單位學習相關技能，并完成下列作業(yè)：（1）KinectV2是哪家公司生產(chǎn)的，包括哪些部件？（2）驅動程序的作用是什么？（3）KinectV2驅動程序有幾種，各從什么渠道進行下載？2.在教師的引導下分組，以小組為單位學習相關知識，并結合Kinect相機驅動的安裝，完成以下作業(yè)：（1）了解KinectV2深度相機的來源和部件。（2）了解KinectV2深度相機的驅動程序的作用（3）掌握KinectV2驅動程序有幾種和各自的下載渠道。（4）按照下列表格索引，掌握KinectV2深度相機的相關知識，并完成“工作表格：KinectV2深度相機的認知”的填寫。06.評價反饋（1）各組代表展示匯報PPT，介紹任務的完成過程。（2）以小組為單位，請對各組的操作過程與操作結果進行自評和互評，并將結果填入綜合評價表中的小組評價部分。（3）教師對學生工作過程與工作結果進行評價，并將評價結果填入綜合評價表中的教師評價部分。ThankYou智能網(wǎng)聯(lián)汽車

計算平臺部署與測試

Kinect深度相機的認知與安裝任務2Kinect相機驅動的安裝目錄01.任務描述02.任務目標03.任務準備04.知識準備05.任務實施06.評價反饋01.任務描述最近，單位新來一批實習員工，他們對深度相機Kinect驅動的安裝并不了解，需要學習如何安裝Kinect相機驅動，請你準備一下，講解相機驅動需要的系統(tǒng)要求及安裝方法，包括官方驅動和第三方驅動。02.任務目標

通過學習，希望同學們完成以下任務。了解官方驅動和第三方驅動的使用場景。能夠掌握官方驅動的安裝方法。能夠掌握第三方驅動的安裝方法。能夠在電腦上正確安裝深度相機KinectV2官方驅動。能夠在電腦上正確安裝深度相機KinectV2第三方驅動。具有良好的團隊協(xié)作精神和較強的組織溝通能力。具備良好的職業(yè)道德。獲得多途徑檢索知識、分析解決問題以及多元化思考解決問題的方法，形成創(chuàng)新意識。03.任務準備常規(guī)實訓著裝防護裝備安裝有操作系統(tǒng)的計算機平臺教學設備教學課件、電腦主機教學工具04.知識準備（1）雙核3.1GHz以上64位處理器（2）4G以上內存（3）支持USB3.0的接口（4）支持DirectX11的顯卡（5）VisualStudio2012以上（6）NetFramework4.5以上一、官方驅動安裝1.系統(tǒng)要求（1）確定KinectV2未連接到計算機上（2）從微軟官網(wǎng)下載KinectSDK2.0安裝包，地址：download/F/2/D/F2D1012E-3BC6-49C5-B8B3-5ACFF58AF7B8/KinectSDK-v2.0_1409-Setup.exe一、深度相機KinectV2驅動的概述2.安裝（3）下載完畢，雙擊KinectSDK-v2.0_1409-Setup.exe文件，開始安裝（4）安裝完畢，將KinectV2接上電源，并插入計算機上的USB3.0口，Windows將自動安裝KinectV2的驅動程序（5）驅動程序安裝完成后，你可以在Windows的設備管理器中看到KinectV2設備一、深度相機KinectV2驅動的概述2.安裝在非Windows環(huán)境下，一般選擇安裝第三方的驅動。以在Ubuntu18.04操作系統(tǒng)中安裝KinectV2驅動libfreenect2為例說明。1.系統(tǒng)要求（1）支持USB3.0的接口（2）Ubuntu14.04以上（3）已經(jīng)安裝了NVidia顯卡及驅動（4）已經(jīng)安裝了CUDA10.0以上二、OpenKinect驅動安裝二、OpenKinect驅動安裝2.安裝（1）首先更新Ubuntu系統(tǒng)軟件包。在Ubuntu終端上執(zhí)行如下命令：sudoaptupdate（2）安裝libfreenect2依賴軟件包。在Ubuntu終端上依次執(zhí)行如下命令：sudoaptinstallbuild-essentialcmakepkg-configsudoaptinstalllibopenni2-devsudoaptinstalllibturbojpeg0-devsudoaptinstalllibglfw3-devsudoaptinstalllibva-devlibjpeg-dev二、OpenKinect驅動安裝2.安裝其中，libopenni2-dev是OpenNI2項目提供的函數(shù)庫。OpenNI即開放自然語言交互，用于3D感知的開發(fā)接口，OpenNI2是其第二代版本，相對于第一代更加專注于對3D設備的支持和數(shù)據(jù)的獲取，移除了手勢識別等中間件的方式，代碼更加的精簡。OpenNI2是RGBD相機的用戶態(tài)驅動，對上提供統(tǒng)一的接口，方便用戶獲取RGBD的圖像數(shù)據(jù)，對下提供統(tǒng)一的標準類，方便RGBD廠商進行適配；目前OpenNI2支持的設備包括PS1080、PSLink、orbbec、Kinect等設備，由于其清晰的代碼結構，很容易對第三方設備進行適配。二、OpenKinect驅動安裝2.安裝（3）獲取libfreenect2源碼。在Ubuntu終端上依次執(zhí)行如下命令：cd~gitclone（4）編譯libfreenect2并安裝驅動。在Ubuntu終端上依次執(zhí)行如下命令：cd~/libfreenect2mkdirbuildcdbuildcmake..-DENABLE_CXX11=ON-DCUDA_PROPAGATE_HOST_FLAGS=OFF-DENABLE_CUDA=ONmakesudomakeinstall二、OpenKinect驅動安裝2.安裝（5）為KinectV2獲得計算機USB口的訪問權限。在Ubuntu終端上執(zhí)行如下命令：sudocp../platform/linux/udev/90-kinect2.rules/etc/udev/rules.d/（6）然后插拔KinectV2與計算機的連接線。接著測試KinectV2是否已經(jīng)能夠在該計算機上正確訪問了。在Ubuntu終端上執(zhí)行如下命令：./bin/Protonect如果此時能夠在計算機上看到圖像，說明已經(jīng)正確安裝了libfreenect2驅動。二、OpenKinect驅動安裝2.安裝（7）由于我們還需要在ROS下使用深度相機KinectV2，因此，下面還要繼續(xù)安裝libfreenect2的ROS驅動。在Ubuntu終端上依次執(zhí)行如下命令，完成libfreenect2的ROS驅動的源代碼下載和編譯。mkdir-p~/kinect2_bridge/src/cd~/kinect2_bridge/src/gitclonecdiai_kinect2rosdepinstall--from-paths.--ignore-srccd~/kinect2_bridgecatkin_make-DCMAKE_BUILD_TYPE="Release"二、OpenKinect驅動安裝2.安裝（8）編譯成功，說明libfreenect2的ROS驅動已經(jīng)正確安裝?？梢园凑找韵虏襟E進行測試。在Ubuntu終端上依次執(zhí)行如下命令：c