邊緣智能計(jì)算應(yīng)用課件：手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行

基于TFLite的手掌檢測(cè)模型部署邊緣智能計(jì)算應(yīng)用手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行邊緣智能計(jì)算應(yīng)用職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行了解模型部署相關(guān)流程。掌握手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行。職業(yè)能力目標(biāo)01知識(shí)目標(biāo)技能目標(biāo)職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行

此任務(wù)要求首先要將模型進(jìn)行保存與工程打包，接著使用MobaXterm工具將工程下載到嵌入式開發(fā)板中，最后進(jìn)行工程代碼的解壓與運(yùn)行，得到檢測(cè)結(jié)果。任務(wù)描述任務(wù)要求完成模型的保存與工程打包；掌握MobaXterm工具的使用；完成下載工程到開發(fā)板中。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行任務(wù)分析MobaXterm軟件是如何實(shí)現(xiàn)將工程文件下載到開發(fā)板的？如何使用工程代碼進(jìn)行解壓和運(yùn)行？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱基于TFLite的手掌檢測(cè)模型部署任務(wù)名稱手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用8個(gè)計(jì)劃步驟來(lái)完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

45678通過(guò)上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來(lái)制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行手部關(guān)鍵點(diǎn)204知識(shí)儲(chǔ)備手勢(shì)識(shí)別1MediaPipeHands304手勢(shì)識(shí)別在計(jì)算機(jī)科學(xué)中，手勢(shì)識(shí)別是通過(guò)數(shù)學(xué)算法來(lái)識(shí)別人類手勢(shì)的一個(gè)議題。手勢(shì)識(shí)別可以來(lái)自人的身體各部位的運(yùn)動(dòng)，但一般是指臉部和手的運(yùn)動(dòng)。04手勢(shì)識(shí)別用戶可以使用簡(jiǎn)單的手勢(shì)來(lái)控制或與設(shè)備交互，讓計(jì)算機(jī)理解人類的行為。其核心技術(shù)為手勢(shì)分割、手勢(shì)分析以及手勢(shì)識(shí)別。04手勢(shì)識(shí)別手勢(shì)無(wú)論是靜態(tài)或動(dòng)態(tài)，其識(shí)別順序首先需進(jìn)行圖像的獲取手的檢測(cè)和分割手勢(shì)的分析，然后進(jìn)行靜態(tài)或動(dòng)態(tài)的手勢(shì)識(shí)別。04手勢(shì)識(shí)別手勢(shì)分割是手勢(shì)識(shí)別過(guò)程中關(guān)鍵的一步，手勢(shì)分割的效果直接影響到下一步手勢(shì)分析及最終的手勢(shì)識(shí)別。目前最常用的手勢(shì)分割法主要包括基于單目視覺的手勢(shì)分割和基于立體視覺的手勢(shì)分割。04手勢(shì)識(shí)別手勢(shì)分析是完成手勢(shì)識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一。通過(guò)手勢(shì)分析，可獲得手勢(shì)的形狀特征或運(yùn)動(dòng)軌跡。手勢(shì)的形狀和運(yùn)動(dòng)軌跡是動(dòng)態(tài)手勢(shì)識(shí)別中的重要特征，與手勢(shì)所表達(dá)意義有直接的關(guān)系。04手勢(shì)識(shí)別手勢(shì)識(shí)別是將模型參數(shù)空間里的軌跡(或點(diǎn))分類到該空間里某個(gè)子集的過(guò)程，其包括靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，動(dòng)態(tài)手勢(shì)識(shí)別最終可轉(zhuǎn)化為靜態(tài)手勢(shì)識(shí)別。04手勢(shì)識(shí)別手勢(shì)識(shí)別應(yīng)用場(chǎng)景家庭娛樂(lè)智能駕駛智能穿戴手部關(guān)鍵點(diǎn)204知識(shí)儲(chǔ)備手勢(shì)識(shí)別1MediaPipeHands3MediaPipeHands是一種高保真手和手指跟蹤解決方案，它采用機(jī)器學(xué)習(xí)（ML）僅從單個(gè)幀中推理出手部的21個(gè)3D坐標(biāo)04MediaPipeHands當(dāng)前最先進(jìn)的方法主要依賴于強(qiáng)大的算力，而使用MediaPipe提供的解決方案實(shí)現(xiàn)了在手機(jī)上進(jìn)行實(shí)時(shí)檢測(cè)的性能，甚至可以同時(shí)辨識(shí)到多只手。04MediaPipeHandsMediaPipe框架將在未來(lái)被廣泛地研發(fā)，更多的開發(fā)者也將加入到此行列中對(duì)手部識(shí)別和模擬應(yīng)用進(jìn)行開發(fā)。04MediaPipeHands手部關(guān)鍵點(diǎn)204知識(shí)儲(chǔ)備手勢(shì)識(shí)別1MediaPipeHands3在計(jì)算機(jī)視覺領(lǐng)域中，手勢(shì)識(shí)別被廣泛應(yīng)用于人機(jī)交互、手語(yǔ)識(shí)別等場(chǎng)景中，而手勢(shì)識(shí)別依賴于手部關(guān)鍵點(diǎn)檢測(cè)，并且隨著移動(dòng)終端和移動(dòng)互聯(lián)網(wǎng)的普及，手勢(shì)識(shí)別也廣泛應(yīng)用于移動(dòng)終端中。04手部關(guān)鍵點(diǎn)04手部關(guān)鍵點(diǎn)04手部關(guān)鍵點(diǎn)識(shí)別是指對(duì)于任何一幅給定的圖像，如果圖像中有手，則定位手的21個(gè)關(guān)鍵點(diǎn)的位置，每個(gè)關(guān)鍵點(diǎn)的位置用它在圖像中的橫縱坐標(biāo)表示；這21個(gè)關(guān)鍵點(diǎn)包括大拇指、食指、中指、無(wú)名指、小拇指的指尖、指間關(guān)節(jié)，以及手心，不區(qū)分左右手；21個(gè)關(guān)鍵點(diǎn)在手上的位置分布如圖所示：手部關(guān)鍵點(diǎn)04指尖識(shí)別是指只對(duì)伸出食指這種手勢(shì)的食指指尖進(jìn)行定位的技術(shù)，是一種特殊的手部關(guān)鍵點(diǎn)識(shí)別；手部關(guān)鍵點(diǎn)04手部關(guān)鍵點(diǎn)檢測(cè)圖片中的手部并返回坐標(biāo)信息，精準(zhǔn)定位食指指尖、及4個(gè)輔助關(guān)鍵點(diǎn)的坐標(biāo)位置。04手部關(guān)鍵點(diǎn)給定任意的圖片，如果其中手勢(shì)的類別是伸出食指，那么返回指尖的位置，其中位置用橫縱坐標(biāo)表示；04手部關(guān)鍵點(diǎn)因?yàn)橹恍枰R(shí)別指尖的位置，本方法在處理速度與精確度上要優(yōu)于識(shí)別所有關(guān)鍵點(diǎn)的方法。04手部關(guān)鍵點(diǎn)應(yīng)用場(chǎng)景：學(xué)習(xí)機(jī)點(diǎn)讀學(xué)習(xí)平板、陪伴機(jī)器人等兒童學(xué)習(xí)設(shè)備，基于食指指尖檢測(cè)，精準(zhǔn)定位書本上的內(nèi)容模塊，實(shí)現(xiàn)自動(dòng)跟讀、點(diǎn)讀搜題等效果，讓學(xué)習(xí)機(jī)變得更“聰明”職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行05任務(wù)實(shí)施模型保存與工程打包1下載工程到開發(fā)板205拷貝任務(wù)2轉(zhuǎn)換好的RKNN模型到工程中模型保存與工程打包#拷貝手掌檢測(cè)模型!cpmodels/palm_detectionu8.rknnsrc/hand_tracking_rknn/models/#拷貝手掌關(guān)節(jié)點(diǎn)檢測(cè)模型!cpmodels/hand_landmarku8.rknnsrc/hand_tracking_rknn/models/打包手掌檢測(cè)項(xiàng)目使用tar命令進(jìn)行打包05任務(wù)實(shí)施模型保存與工程打包1下載工程到開發(fā)板205下載工程包模型保存與工程打包工程包名稱：hand_tracking_rknn.tgz05在MobaXterm軟件中創(chuàng)建一個(gè)新的ssh會(huì)話模型保存與工程打包05輸入ssh登陸的密碼，并確定是否記住ssh登陸密碼模型保存與工程打包05RK3399pro開發(fā)板登陸成功，出現(xiàn)如下打印模型保存與工程打包05將下載到PC的手掌檢測(cè)案例，發(fā)送到RK3399pro開發(fā)板中模型保存與工程打包05在MobaXterm軟件遠(yuǎn)程RK3399PRO開發(fā)板的會(huì)話窗口中，依次輸入如下命令，在開發(fā)板上運(yùn)行手掌檢測(cè)案例（注：運(yùn)行前確認(rèn)USB攝像頭和顯示器已連接到開發(fā)板上）模型保存與工程打包05在RK3399PRO開發(fā)板連接的顯示器上我們可以看到如下結(jié)果模型保存與工程打包職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任務(wù)要求，制定詳細(xì)計(jì)劃，計(jì)劃條理清晰，邏輯正確（20分）20分

理解相關(guān)理論知識(shí)，能根據(jù)本次任務(wù)要求、制定合理計(jì)劃（15分）了解相關(guān)理論知識(shí)，有制定計(jì)劃（10分）無(wú)制定計(jì)劃（0分）2專業(yè)技能（40%）很好的完成模型保存與工程打包，創(chuàng)建ssh對(duì)話，將發(fā)送到RK3399pro開發(fā)板中，在開發(fā)板上運(yùn)行手掌檢測(cè)案例。（40分）40分

完成模型保存與工程打包，創(chuàng)建ssh對(duì)話，將發(fā)送到RK3399pro開發(fā)板中。（30分）完成模型保存與工程打包，創(chuàng)建ssh對(duì)話。（20分）完成模型保存與工程打包。（10分）沒有完成模型保存與工程打包。（0分）3核心素養(yǎng)（20%）具有良好的自主學(xué)習(xí)能力、分析解決問(wèn)題的能力、整個(gè)任務(wù)過(guò)程中有指導(dǎo)他人（20分）20分

具有較好的學(xué)習(xí)能力和分析解決問(wèn)題的能力，任務(wù)過(guò)程中無(wú)指導(dǎo)他人（15分）能夠主動(dòng)學(xué)習(xí)并收集信息，有請(qǐng)教他人進(jìn)行解決問(wèn)題的能力（10分）不主動(dòng)學(xué)習(xí)（0分）4課堂紀(jì)律（20%）設(shè)備無(wú)損壞、設(shè)備擺放整齊、工位區(qū)域內(nèi)保持整潔、無(wú)干擾課堂秩序（20分）20分

設(shè)備無(wú)損壞、無(wú)干擾課堂秩序（15分）無(wú)干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請(qǐng)參照評(píng)價(jià)標(biāo)準(zhǔn)完成自評(píng)和對(duì)其他小組的互評(píng)。2、各組請(qǐng)代表分析本組任務(wù)實(shí)施經(jīng)驗(yàn)。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08手掌檢測(cè)在嵌入式設(shè)備中的部署和運(yùn)行任務(wù)小結(jié)07職業(yè)能力目標(biāo)01