智慧工廠機(jī)器視覺感知與控制關(guān)鍵技術(shù)綜述

智慧工廠機(jī)器視覺感知與控制關(guān)鍵技術(shù)綜述

王耀南陳鐵健Summary：認(rèn)為發(fā)展智慧工廠和智能制造裝備的關(guān)鍵技術(shù)是環(huán)境感知和智能控制技術(shù)。結(jié)合智慧工廠特點(diǎn)，提出了一種機(jī)器視覺感知控制系統(tǒng)原理方案，并對(duì)各個(gè)關(guān)鍵核心技術(shù)進(jìn)行分析。還提出了一種基于云計(jì)算的機(jī)器視覺感知控制系統(tǒng)方案，用于解決各種視覺控制應(yīng)用的高實(shí)時(shí)性需求與計(jì)算復(fù)雜度極高之間的矛盾。該方案中還有一些技術(shù)需要進(jìn)一步研究，包括先進(jìn)工業(yè)成像技術(shù)、云計(jì)算平臺(tái)負(fù)載平衡技術(shù)、云計(jì)算平臺(tái)中的自動(dòng)化圖像處理流程設(shè)計(jì)等。Key：智慧工廠；機(jī)器視覺；感知控制；云計(jì)算Abstract：Thekeytechnologyinsmartfactoryandintelligentmanufacturingisenvironmentsensingandautonomouscontrol.Inthispaper，amachinevisionperceptionandcontrolsystemdesignisproposed，andkeytechnologiesarealsoanalyzed.Additionally，thecloudcomputing-basedmachinevisionperceptionandcontrolsystemdesignisalsoproposed，whichisutilizedtosolvetheconflictsbetweenreal-timerequirementsandhighcomputingcomplexityofimageprocessing.Inthisdesignscheme，sometechniquesneedtobefurtherstudied，includingadvancedindustrialimagingtechnology，cloudcomputingplatformloadbalancingtechnology，processdesignofautomatedimageincloudcomputingplatformandsoon.Keywords：smartfactory；machinevision；perceptionandcontrol；cloudcomputing當(dāng)前，全球制造業(yè)格局面臨著重大調(diào)整，新一代信息技術(shù)與制造業(yè)深度融合，正在引發(fā)影響深遠(yuǎn)的產(chǎn)業(yè)變革，形成新的生產(chǎn)方式、產(chǎn)業(yè)形態(tài)、商業(yè)模式和經(jīng)濟(jì)增長(zhǎng)點(diǎn)。各國(guó)都在加大科技創(chuàng)新力度，制訂了多個(gè)智能制造產(chǎn)業(yè)發(fā)展計(jì)劃，包括德國(guó)的“工業(yè)4.0”計(jì)劃[1]，美國(guó)的“制造業(yè)回歸”計(jì)劃，中國(guó)的“中國(guó)制造2025”計(jì)劃[2]，日本的“2015制造白皮書”等。在最具代表性的“工業(yè)4.0”計(jì)劃中，提出了第4次工業(yè)革命的概念。在該智能制造模式中，信息物理系統(tǒng)（CPS）[3-5]通過將物聯(lián)網(wǎng)、服務(wù)網(wǎng)絡(luò)、社會(huì)網(wǎng)絡(luò)有機(jī)結(jié)合，實(shí)現(xiàn)智能機(jī)器、存儲(chǔ)系統(tǒng)、生產(chǎn)設(shè)施、物流和定制服務(wù)等各個(gè)生產(chǎn)-消費(fèi)要素相互獨(dú)立地自動(dòng)交換信息、觸發(fā)動(dòng)作和控制，從根本上改善包括制造、工程、材料使用、供應(yīng)鏈和生命周期管理的工業(yè)過程，生產(chǎn)出智能產(chǎn)品，大幅度提高服務(wù)質(zhì)量，降低設(shè)備閑置率、生產(chǎn)時(shí)間、能源消耗和制造成本。工業(yè)4.0的核心在于智慧工廠，它是實(shí)現(xiàn)高質(zhì)量定制產(chǎn)品和智能產(chǎn)品的關(guān)鍵[6]。在工業(yè)4.0框架下，發(fā)展智慧工廠和智能制造裝備需要解決多個(gè)關(guān)鍵技術(shù)難題，諸如精密機(jī)構(gòu)設(shè)計(jì)、高性能材料、高速網(wǎng)絡(luò)通信、云計(jì)算平臺(tái)、環(huán)境感知和智能控制等信息處理方法、系統(tǒng)可靠性等。其中，環(huán)境感知和智能控制技術(shù)作為智慧工廠高適應(yīng)性、高精度、智能化作業(yè)的根本保障，是必須首先解決的關(guān)鍵技術(shù)難題。在工業(yè)4.0框架下，智慧工廠的感知和控制技術(shù)必須具備高速、高精度、模塊化、智能化、無損感知等特點(diǎn)，能夠根據(jù)不同的任務(wù)實(shí)現(xiàn)自主配置和自適應(yīng)調(diào)節(jié)，滿足定制和個(gè)性化產(chǎn)品的自適應(yīng)制造，然而傳統(tǒng)的感知控制技術(shù)無法滿足上述需求，因此研究適應(yīng)智慧工廠需求的新型環(huán)境感知和智能控制技術(shù)十分必要。1機(jī)器視覺感知與控制關(guān)鍵技術(shù)機(jī)器視覺感知與控制技術(shù)是解決智慧工廠環(huán)境感知和自主控制這一技術(shù)難題的關(guān)鍵。機(jī)器視覺檢測(cè)與控制技術(shù)是采用機(jī)器視覺、機(jī)器手代替人眼、人腦、人手來進(jìn)行檢測(cè)、測(cè)量、分析、判斷和決策控制的智能測(cè)控技術(shù)[9]，是人類模仿自身視覺感知能力實(shí)現(xiàn)自動(dòng)化測(cè)量和控制的重要手段，能夠同時(shí)滿足智慧工廠環(huán)境感知和自主控制的多項(xiàng)需求。機(jī)器視覺感知控制技術(shù)可用于智慧工廠中的精密制造自動(dòng)化生產(chǎn)線、智能機(jī)器人、在線檢測(cè)裝備[10]、細(xì)微操作、工程機(jī)械、虛擬現(xiàn)實(shí)產(chǎn)品設(shè)計(jì)[11]等多個(gè)領(lǐng)域，在提高航空航天[12]、軍工、汽車、電子、精密儀器等行業(yè)自動(dòng)化加工制造水平，保障產(chǎn)品質(zhì)量等方面發(fā)揮巨大作用。因此，機(jī)器視覺感知控制技術(shù)是工業(yè)4.0框架中不可或缺的重要組成部分。1.1智慧工廠中的機(jī)器視覺感知控制系統(tǒng)方案智慧工廠屬于復(fù)雜系統(tǒng)，應(yīng)用環(huán)境特殊，對(duì)機(jī)器視覺感知控制技術(shù)的準(zhǔn)確率、實(shí)時(shí)性、重復(fù)性有著極高的要求。針對(duì)這一難題，我們提出了如圖1所示的智慧工廠機(jī)器視覺感知控制系統(tǒng)方案。在該系統(tǒng)方案中，根據(jù)應(yīng)用需求，首先設(shè)計(jì)智能視覺成像系統(tǒng)和自動(dòng)化圖像獲取機(jī)構(gòu)，自動(dòng)獲取檢測(cè)對(duì)象的高質(zhì)量圖像；獲取的圖像經(jīng)過去噪增強(qiáng)、分割、配準(zhǔn)融合、拼接等圖像預(yù)處理步驟，改善獲取圖像質(zhì)量；然后采用目標(biāo)定位與分割算法、目標(biāo)檢測(cè)與識(shí)別算法，智能分類與判別等圖像處理過程，實(shí)現(xiàn)對(duì)檢測(cè)對(duì)象的識(shí)別、檢測(cè)、分析、測(cè)量。同時(shí)，從圖像處理中得到的目標(biāo)位姿信息可用于基于視覺的高速運(yùn)動(dòng)精確位置與恰當(dāng)力的優(yōu)化控制。1.2工業(yè)成像系統(tǒng)的關(guān)鍵技術(shù)工業(yè)成像系統(tǒng)包括光學(xué)、成像、處理3部分。其中，光學(xué)部分由光源、光學(xué)系統(tǒng)構(gòu)成，光源主要用于在成像對(duì)象表面上產(chǎn)生光場(chǎng)，常用的光源包括發(fā)光二級(jí)管（LED）光源、結(jié)構(gòu)光等；光學(xué)系統(tǒng)主要實(shí)現(xiàn)光路控制，并將光信號(hào)聚焦到成像平面上。成像部分主要由圖像傳感器構(gòu)成，將入射光轉(zhuǎn)化為電信號(hào)，并經(jīng)過放大、調(diào)理、A/D轉(zhuǎn)換和讀出，就可以得到數(shù)字圖像[13]。處理部分由通信電路、圖像處理器和處理算法構(gòu)成，獲取的圖像通過通信電路和協(xié)議傳輸?shù)綀D像處理器中，并采用圖像處理算法進(jìn)行實(shí)時(shí)處理，提取出視覺信息用于智能制造裝備的檢測(cè)和控制。1.3自動(dòng)圖像獲取的關(guān)鍵技術(shù)精密成像機(jī)構(gòu)是自動(dòng)圖像獲取的關(guān)鍵，它可以實(shí)現(xiàn)對(duì)成像位置、視角、分辨率、質(zhì)量、數(shù)量等參數(shù)的精密控制。為適應(yīng)不同成像對(duì)象和裝備機(jī)械結(jié)構(gòu)，多種自動(dòng)圖像獲取方法和精密成像機(jī)構(gòu)被提出，主要包括：高速運(yùn)動(dòng)序列圖像獲取、位置觸發(fā)成像、顯微成像、眼手圖像獲取、全方位圖像獲取、立體視覺成像[14]、線掃描成像、點(diǎn)云成像等關(guān)鍵技術(shù)。1.4圖像預(yù)處理的關(guān)鍵技術(shù)圖像預(yù)處理方法主要包括去噪、增強(qiáng)、配準(zhǔn)、融合、拼接，通過圖像預(yù)處理可提高圖像質(zhì)量，降低圖像識(shí)別和分類的難度，從而保證檢測(cè)控制的精度。圖像去噪增強(qiáng)主要用于消除獲取圖像中包含的鹽椒、高斯等多種噪聲，并通過特征結(jié)構(gòu)增強(qiáng)改善可能存在的對(duì)比度低，邊界模糊和運(yùn)動(dòng)模糊等現(xiàn)象[15]。常用的去噪方法包括空間域?yàn)V波方法、變換域?yàn)V波方法、基于偏微分的圖像去噪方法、基于相似性的圖像去噪方法、全變分圖像去噪等。常用的圖像增強(qiáng)方法包括直方圖均衡化、匹配、校正，圖像銳化方法[16]，基于視覺模型的增強(qiáng)方法[17]，運(yùn)動(dòng)模糊去除方法等。多源圖像融合可以去除冗余信息，提高單幅圖像所包含的信息量。圖像融合[18]主要基于圖像分解和重構(gòu)，其中多分辨率圖像分析是最常用的圖像分解方法，包括小波變換、金字塔形或樹狀小波幀變換、幾何分析小波，以及稀疏表示等；在重構(gòu)過程中，根據(jù)統(tǒng)計(jì)模型或其他融合規(guī)則對(duì)圖像分解系數(shù)進(jìn)行融合，經(jīng)過逆變換得到融合圖像。對(duì)不同位姿獲取的圖像進(jìn)行配準(zhǔn)，可以將多幅圖像對(duì)齊到單個(gè)圖像坐標(biāo)系下，實(shí)現(xiàn)多幅圖像拼接，還可以實(shí)現(xiàn)圖像偏差測(cè)量。在圖像配準(zhǔn)過程中，輸入多源圖像經(jīng)過特征檢測(cè)、匹配、變換模型估計(jì)、圖像重采樣和空間變換，得到相同目標(biāo)在不同圖像中的匹配關(guān)系，最后根據(jù)變換模型對(duì)圖像進(jìn)行空間變換和重采樣，獲得配準(zhǔn)后的圖像。1.5圖像定位分割的關(guān)鍵技術(shù)在成像過程中由于運(yùn)動(dòng)控制方式和機(jī)械電氣誤差，圖像中對(duì)象位置并不固定，因此需要進(jìn)行目標(biāo)定位和檢測(cè)區(qū)域分割。對(duì)于背景簡(jiǎn)單、特征明顯對(duì)象，可以利用目標(biāo)邊界、幾何形狀特征等先驗(yàn)知識(shí)，實(shí)現(xiàn)目標(biāo)定位和檢測(cè)區(qū)域提取。對(duì)于復(fù)雜背景下且特征模糊對(duì)象，可采用基于圖像分割的定位和檢測(cè)區(qū)域提取方法[19]，如閾值分割方法、區(qū)域生長(zhǎng)法、分水嶺分割算法、聚類分割方法、基于圖的分割方法、基于主動(dòng)輪廓的分割方法、神經(jīng)網(wǎng)絡(luò)圖像分割方法等關(guān)鍵技術(shù)。1.6圖像識(shí)別檢測(cè)的關(guān)鍵技術(shù)通過圖像識(shí)別檢測(cè)，可實(shí)現(xiàn)目標(biāo)識(shí)別和分類、缺陷檢測(cè)、視覺測(cè)量等功能，從而滿足智慧工廠多樣化的應(yīng)用需求。圖像識(shí)別可通過對(duì)分割后圖像特征分析，序列圖像運(yùn)動(dòng)分析和模式匹配等方法實(shí)現(xiàn)。識(shí)別目標(biāo)多表現(xiàn)為灰度或紋理均勻的閉合區(qū)域，利用檢測(cè)對(duì)象輪廓等不變性特征和形狀、面積、灰度、紋理等先驗(yàn)信息，對(duì)分割后圖像進(jìn)行特征分析，即可實(shí)現(xiàn)圖像識(shí)別。在基于模式匹配的識(shí)別方法中，模式可以用點(diǎn)集、輪廓、骨架來表示[20]，匹配過程可采用動(dòng)態(tài)規(guī)劃、最優(yōu)化、最大似然、圖匹配方法、Patmax方法等[21]，得到對(duì)象位移、旋轉(zhuǎn)、尺度、形變等參數(shù)。圖像檢測(cè)可實(shí)現(xiàn)對(duì)缺陷、特定結(jié)構(gòu)及特征的檢測(cè)，由于檢測(cè)目標(biāo)在尺寸、灰度、紋理等特征方面與背景差異較大，因此圖像檢測(cè)主要通過特征分析實(shí)現(xiàn)。針對(duì)不同應(yīng)用，多種特征分析方法被提出，主要包括基于紋理分析的檢測(cè)方法、基于局部特征的檢測(cè)算法、基于模板匹配的缺陷檢測(cè)方法等。圖像分類是實(shí)現(xiàn)圖像識(shí)別、檢測(cè)、決策的關(guān)鍵，其精度直接決定最終檢測(cè)識(shí)別結(jié)果。常用的分類方法包括模糊方法、神經(jīng)網(wǎng)絡(luò)方法、支持向量機(jī)、極限學(xué)習(xí)機(jī)、深度學(xué)習(xí)等機(jī)器學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法能夠模仿人的學(xué)習(xí)能力，處理非線性等復(fù)雜問題，提高圖像分類決策的智能化程度。然而當(dāng)前主要問題在于圖像分類精度不理想，特別是對(duì)于復(fù)雜高維數(shù)據(jù)、非均衡數(shù)據(jù)集等，同時(shí)圖像空間域與特征域的建模也是一大難點(diǎn)。1.7視覺伺服與優(yōu)化控制的關(guān)鍵技術(shù)智慧工廠根據(jù)視覺檢測(cè)識(shí)別和位姿測(cè)量結(jié)果，引導(dǎo)精密伺服運(yùn)動(dòng)控制系統(tǒng)可控制機(jī)器人完成定位、抓取、分揀、組裝、灌裝、裝配等復(fù)雜自適應(yīng)作業(yè)。視覺伺服運(yùn)動(dòng)控制基本原理如圖2所示，視覺控制率根據(jù)視覺誤差產(chǎn)生控制量，驅(qū)動(dòng)機(jī)器人的關(guān)節(jié)運(yùn)動(dòng)，完成給定作業(yè)。其中視覺誤差定義為給定特征向量和視覺信息反饋之間的差值。在反饋環(huán)節(jié)，通過成像參數(shù)、控制對(duì)象模型等信息，將當(dāng)前圖像特征的測(cè)量值轉(zhuǎn)化為與給定特征向量同類型的測(cè)量值。根據(jù)特征向量類型，可分為基于位置的視覺伺服（PBVS）、基于圖像的視覺伺服（IBVS）、混合視覺伺服和直接視覺伺服等[22-23]。其中PBVS采用機(jī)器人末端空間位姿作為反饋，IBVS將圖像特征作為反饋，而混合視覺伺服則將一種擴(kuò)展圖像坐標(biāo)特征作為反饋。針對(duì)傳統(tǒng)方法未充分利用圖像信息這一不足，直接視覺伺服方法將整幅圖像作為反饋，通過最優(yōu)化方法得到視覺伺服中的位姿信息，改善視覺伺服的精度和魯棒性。與其他控制方法相比，視覺伺服控制的主要難點(diǎn)在于視覺反饋信息的測(cè)量和視覺控制率的確立。在智慧工廠中，智能制造系統(tǒng)需要自動(dòng)化生產(chǎn)線上多種智能制造裝備協(xié)同工作，是一種典型的高階、非線性、強(qiáng)耦合的多變量系統(tǒng)。針對(duì)這一難題，可采用多機(jī)器人手眼協(xié)調(diào)控制，將機(jī)器人逆運(yùn)動(dòng)學(xué)分析、軌跡規(guī)劃、多機(jī)器人協(xié)同控制、力/位混合控制、多感知控制等智能控制技術(shù)用于視覺伺服中，實(shí)現(xiàn)多機(jī)器人關(guān)節(jié)空間的協(xié)同視覺伺服控制，提高控制精度和智能化程度。2智慧工廠機(jī)器感知控制的云計(jì)算平臺(tái)設(shè)計(jì)在智慧工廠中，機(jī)器感知控制技術(shù)主要用于解決特定的制造作業(yè)，如目標(biāo)識(shí)別和位姿測(cè)量，產(chǎn)品質(zhì)量和缺陷檢測(cè)、物理量測(cè)量、目標(biāo)三維建模、視覺伺服作業(yè)等。在這些應(yīng)用中，由于實(shí)時(shí)獲取的圖像本身數(shù)據(jù)量較大，且圖像處理過程通常較為復(fù)雜，導(dǎo)致整個(gè)信息處理過程計(jì)算量復(fù)雜度極高，采用傳統(tǒng)的裝備側(cè)運(yùn)算資源難以滿足上述應(yīng)用對(duì)于實(shí)時(shí)性的要求。針對(duì)這一難題，在工業(yè)4.0框架下，智能制造過程中獲取的實(shí)時(shí)圖像數(shù)據(jù)通過高速通信網(wǎng)絡(luò)傳輸?shù)皆朴?jì)算平臺(tái)中，利用云端極強(qiáng)的運(yùn)算能力和計(jì)算負(fù)載平衡方法，可以滿足各種機(jī)器感知控制算法應(yīng)用的實(shí)時(shí)性、檢測(cè)控制精度、穩(wěn)定性極高的需求。智慧工廠中的機(jī)器視覺感知控制的云計(jì)算平臺(tái)可采用如圖3所示的系統(tǒng)方案，該云平臺(tái)主要有3部分構(gòu)成[23]，分別為裝備抽象層、機(jī)器視覺感知控制算法層和智能制造數(shù)據(jù)庫。裝備抽象層主要對(duì)各種制造裝備進(jìn)行抽象，得到裝備的成像系統(tǒng)模型、控制系統(tǒng)模型等，作為環(huán)境感知和自主控制的基礎(chǔ)。算法層主要包括各種圖像去噪增強(qiáng)、配準(zhǔn)融合、目標(biāo)定位、檢測(cè)區(qū)域分割、目標(biāo)識(shí)別、特征檢測(cè)、機(jī)器學(xué)習(xí)、視覺伺服控制等信息處理方法，實(shí)現(xiàn)從獲取的圖像中提取出目標(biāo)的位姿、特征、類型等信息，滿足智慧工廠各種應(yīng)用對(duì)于信息服務(wù)的需求。智能制造數(shù)據(jù)庫主要包括感知和控制目標(biāo)數(shù)據(jù)庫、圖像處理流程數(shù)據(jù)庫等，主要用于存儲(chǔ)、配置和統(tǒng)計(jì)制造過程中的物流、制造參數(shù)、信息處理流程等，是實(shí)現(xiàn)柔性制造和高質(zhì)量定制產(chǎn)品制造的關(guān)鍵。與傳統(tǒng)的機(jī)器視覺感知控制系統(tǒng)相比，上述基于云平臺(tái)的實(shí)現(xiàn)可以大幅度提高系統(tǒng)的可擴(kuò)展性、可重構(gòu)性等，同時(shí)也降低了系統(tǒng)開發(fā)的難度和成本，有利于在智慧工廠中普遍推廣應(yīng)用機(jī)器視覺感知控制技術(shù)，提高環(huán)境感知和自主控制的智能化程度。3總結(jié)與展望智慧工廠是一個(gè)復(fù)雜系統(tǒng)，通過智能制造裝備、大數(shù)據(jù)、云計(jì)算平臺(tái)和信息物理系統(tǒng)的應(yīng)用，可滿足極其復(fù)雜的制造過程協(xié)同控制的需求，大幅度提高制造過程的智能化和自主化程度。機(jī)器視覺感知控制技術(shù)是解決智慧工廠環(huán)境感知和自主控制這一難題的關(guān)鍵，而云計(jì)算技術(shù)則能夠解決各種視覺應(yīng)用高實(shí)時(shí)性需求與圖像運(yùn)算復(fù)雜度極高之間的矛盾，因此發(fā)展機(jī)器視覺感知控制云計(jì)算平臺(tái)對(duì)于智慧工廠來說十分重要。針對(duì)這一難題，我們分別對(duì)機(jī)器視覺感知控制技術(shù)進(jìn)行綜述，并提出了一種機(jī)器視覺感知控制云計(jì)算平臺(tái)設(shè)計(jì)方案，在該方案中有以下關(guān)鍵技術(shù)難題有待進(jìn)一步研究：（1）先進(jìn)工業(yè)成像技術(shù)。當(dāng)前采用的成像技術(shù)大多局限于可見光成像，導(dǎo)致在某些應(yīng)用中獲得的圖像特異性差，不能夠全面體現(xiàn)被檢對(duì)象特征。為此需要從光源頻譜控制、先進(jìn)陣列感知、信號(hào)調(diào)理等方面全面研究成像技術(shù)，探索不同類型對(duì)象與電磁波相互作用和成像的新現(xiàn)象、新原理、新方法。將多種先進(jìn)成像技術(shù)，如高光譜成像、激光掃描成像、干涉/衍射成像、層析成像、太赫茲成像、電容成像等應(yīng)用于工業(yè)視覺檢測(cè)和控制，豐富視覺感知手段。（2）云計(jì)算平臺(tái)負(fù)載平衡技術(shù)。圖像大數(shù)據(jù)與其他信息不同，具有流數(shù)據(jù)的特點(diǎn)，如何在云計(jì)算平臺(tái)中實(shí)現(xiàn)對(duì)制造過程獲取的圖像大數(shù)據(jù)進(jìn)行實(shí)時(shí)處理一直是困擾智能制造的一個(gè)技術(shù)難題。因此，研究云計(jì)算平臺(tái)中的負(fù)載平衡技術(shù)，將圖像處理步驟分散到各個(gè)節(jié)點(diǎn)中，結(jié)合流數(shù)據(jù)處理特點(diǎn)，實(shí)現(xiàn)并行圖像處理，成為解決這一難題的關(guān)鍵。（3）云計(jì)算平臺(tái)中的自動(dòng)化圖像處理流程設(shè)計(jì)。圖像處理過程通常由多個(gè)圖像處理步驟構(gòu)成，而每個(gè)步驟都可以采用多種處理算法，同時(shí)由于不同應(yīng)用圖像特征和任務(wù)目標(biāo)各異，造成圖像處理流程設(shè)計(jì)困難。為解決這一難題，需研究自動(dòng)化圖像處理流程設(shè)計(jì)方法，首先分析不同圖像處理算法的特點(diǎn)，以及達(dá)到的處理效果，并分析參數(shù)對(duì)于圖像處理結(jié)果的影響，然后根據(jù)任務(wù)、先驗(yàn)知識(shí)和圖像特征，選擇最優(yōu)圖像處理算法和參數(shù)，實(shí)現(xiàn)自動(dòng)化圖像處理流程設(shè)計(jì)。（4）智慧工廠機(jī)器魯棒感知控制的高穩(wěn)定性、高可靠性和適應(yīng)性研究。由于機(jī)器感知圖像信息屬于非線性多維信息，在應(yīng)用中存在多種不確定性，限制了智慧工廠制造裝備的穩(wěn)定性和可靠性。為此需要研究機(jī)器感知應(yīng)用的穩(wěn)定性、可靠性控制方法，以及誤差控制方法，消除不確定性，提高智慧工廠的自適應(yīng)能力。（5）智慧工廠機(jī)器深度學(xué)習(xí)技術(shù)研究。建立智能化工廠是企業(yè)未來發(fā)展的需要。不論是食品行業(yè)還是其他行業(yè)，最初的生產(chǎn)都是大批量生產(chǎn)，隨著技術(shù)及時(shí)代的發(fā)展，市場(chǎng)上產(chǎn)品同質(zhì)化越來越嚴(yán)重；另一方面客戶的個(gè)性化需求逐漸增強(qiáng)，迫使企業(yè)由大批量生產(chǎn)轉(zhuǎn)向多品種小批量生產(chǎn)，更進(jìn)一步，將逐步轉(zhuǎn)向個(gè)性化定制生產(chǎn)。市場(chǎng)需求的變化使得各行各業(yè)逐步開始進(jìn)行轉(zhuǎn)型升級(jí)，要求生產(chǎn)線具有高度的柔性，能夠進(jìn)行模塊化的組合，以滿足生產(chǎn)不同產(chǎn)品的需求。與此同時(shí)，為了響應(yīng)客戶的需求，需要及時(shí)對(duì)客戶的信息進(jìn)行收集、處理及反饋，也促使企業(yè)開始關(guān)注自己的數(shù)字化、信息化建設(shè)，各種實(shí)用的系統(tǒng)逐步上線；更進(jìn)一步為了提升生產(chǎn)效率，使得設(shè)備與設(shè)備之間、設(shè)備與人之間要有信息互通和良好的交互，又要求利用相關(guān)技術(shù)實(shí)現(xiàn)互聯(lián)。在工業(yè)4.0概念中對(duì)于智能化要求的描述是設(shè)備自適應(yīng)柔性制造、信息感知及端到端溝通，并具有預(yù)警和自診斷能力。為此需研究深度學(xué)習(xí)的機(jī)器感知、機(jī)器認(rèn)知，以提高智慧工廠的自適應(yīng)柔性制造能力。Reference[1]德國(guó)聯(lián)邦教育研究部.德國(guó)工業(yè)4.0戰(zhàn)略計(jì)劃實(shí)施建議[R].2013[2]中國(guó)國(guó)務(wù)院.國(guó)務(wù)院關(guān)于印發(fā)《中國(guó)制造2025》的通知[R/OL].（2015-05-19）[2016-05-09].http：///zhengwuxinxi/zhengcefabu/201505/t20150519_1233751.htm，2015.Online；accessed19-Mar.-2016[3]SHETHA，ANANTHARAMP，HENSONC.Physical-Cyber-SocialComputing：AnEarly21stCenturyApproach[J].IEEEIntelligentSystems，2013，28（1）：78-82.DOI：10.1109/MIS.2013.20[4]ILICMD，XIEL，KHANUA，etal.ModelingofFutureCyber-PhysicalEnergySystemsforDistributedSensingandControl[J].IEEETransactionsonSystems，Man，andCybernetics-PartA：SystemsandHumans，2010，4（40）：825-838.DOI：10.1109/TSMCA.2010.2048026[5]DERLERP，LEEEA，VINCENTELLIAS.ModelingCyber-PhysicalSystems[J].ProceedingsoftheIEEE，2012，100（1）：13-28.DOI：10.1109/JPROC.2011.2160929[6]PEREZF，IRISARRIE，ORIVED，etal.ACPPSArchitectureApproachforIndustry4.0[C]//ProceedingofEmergingTechnologies&FactoryAutomation（ETFA），2015IEEE20thConferenceon.USA：IEEE，2015，1-4[7]WANGFY.TheEmergenceofIntelligentEnterprises：FromCPStoCPSS[J].IEEEIntelligentSystems，2010，25（4）：85-88.DOI：10.1109/MIS.2010.104[8]CHENGFT，TIENGH，YANGHC，etal.Industry4.1forWheelMachiningAutomation[J].IEEERoboticsandAutomationLetters，2016，1（1）：332-339.DOI：10.1109/LRA.2016.2517208[9]王耀南，陳鐵健，賀振東，等.智能制造裝備機(jī)器視覺感知控制方法綜述[J].控制理論與應(yīng)用.2015：32（3）：273-286[10]張輝，王耀南，周博文.基于機(jī)器視覺的液體藥品異物檢測(cè)系統(tǒng)研究[J].儀器儀表學(xué)報(bào)，2009，30（3）：548-553[11]SAMPIGETHAYAK，POOVENDRANR.AviationCyber-PhysicalSystems：FoundationsforFutureAircraftandAirTransport[J].ProceedingsoftheIEEE，2013，101（8）：1834-1855.DOI：10.1109/JPROC.2012.2235131[12]GATTULLOM，UVAAE，F(xiàn)IORENTINOM，etal.LegibilityinIndustrialAR：TextStyle，ColorCoding，andIlluminance[J].IEEEComputerGraphicsandApplications，2015，35（2）：52-61.DOI：10.1109/MCG.2015.36[13]YADIDPO，ETIENNECR.CMOSImagers：fromPhotoTransductiontoImageProcessing[M].Germany：KluwerAcademicPublishers，2004[14]余洪山，趙科，王耀南，等.融合2D/3D攝像機(jī)的方法與獲取高精度三維視覺信息的裝置[J].控制理論與應(yīng)用，2014，31（10）：1383-1392[15]BUADESA，COLLB，MORELJM.AReviewofImageDenoisingAlgorithms，withaNewOne[J].MultiscaleModeling&Simulation，2005，4（2）：490-530[16]POLESELA