機器視覺及其應(yīng)用(系列講座)第四講機器視覺系統(tǒng)集成技術(shù)

1、機器Machidvfsion and its application編者語：機器觀覺(machine vision)作為光電技術(shù)應(yīng)用的一個特定領(lǐng)域，目前已經(jīng)發(fā)展成為一個 前景光明、活力無限的行業(yè)，年平均増怏速度超過旳機器視覺廣泛應(yīng)用于做堪子、電子產(chǎn)品、 汽車，醫(yī)療、印刷、包裝、科研*軍界等金務(wù)行業(yè)"涉及技術(shù)一致，應(yīng)用差異明顯是各種機器觀覺應(yīng) 用系統(tǒng)的共同特點。為了惟動我國機器視覺的發(fā)展，幫助瀆考全面了解機器視覺所涉及的技術(shù)、應(yīng)用和行業(yè)發(fā) 櫻海應(yīng)用光學(xué)3與杯西安機掘視覺研究發(fā)展中心貿(mào)合作推出44機器視覺及其應(yīng)用想系列井座。講座共 5講，分別是盜機器觀覺發(fā)展概述誕圖像采集技術(shù) 機器視覺的

2、基礎(chǔ)恥圖像處理與分析 機 器視覺的核心恥系統(tǒng)集成技術(shù)機器觀覺應(yīng)用成敗的關(guān)鍵就機器視覺典型應(yīng)用:L第四講機器視覺系統(tǒng)集成技術(shù)馬云濤門.兩空機器視.覺研究發(fā)展中心'西安710075*2.中美合資卞眉光電科技右限舍訶 弭安710075)摘要：機器視覺總軌集成時、涉規(guī)到寥門授術(shù)"最居集的樂統(tǒng)也席妥懸明、此碌、圖傢敎字牝、圖像it現(xiàn)算決，計 斤機軟件枝件聲釉妣廈窠亠點的系統(tǒng)違會用到機械溟計、梓感君、電于理璀.PL：進動栓制、數(shù)攜陣*5PC等 爭*要把這么歩車同方面的柱術(shù)和翹識組合到系燒里憒其相里完羌配合畀輯定蚯工柞時鬲航集曲人貢提出了 提高的旻魚。作者權(quán)4S多年的蛭疊*制解了機君鈍覺系

3、統(tǒng)塞嵐時所眇及的畚種扌丈垠，需要煒合孝虛的因索妙亂評估機器觀覽系統(tǒng)隕耳咸功的可走牲的方擊*關(guān)詞：機獸視覺：系統(tǒng)集咸七棄黑配置中國經(jīng)濟經(jīng)過數(shù)十殲的髙速發(fā)展，在很多領(lǐng)域 完咸了從無到有、從不龍到可說的躍變，現(xiàn)在己經(jīng) 到了提高生產(chǎn)效率和產(chǎn)品質(zhì)址、殘酷競爭的階段， 很麥原來便用的人工工序正逐漸被機器所取代，從 而對機器視覺系統(tǒng)產(chǎn)生了越來越多的雋求。而機器 視覺技術(shù)本來就是為了解決生產(chǎn)中的各種問題發(fā) 展起來的。在人類的生產(chǎn)活動中人的眼睛擔(dān)負(fù)著 很多重要的任務(wù)例如放置和固定工杵、觀察和佔 計位置、檢測外觀尺寸、確定產(chǎn)品的一致性、檢驗產(chǎn) 品質(zhì)駅等。這些工柞正在越來越務(wù)地被機器視覺系 統(tǒng)取代，一方面是隨看對生

4、產(chǎn)速度和產(chǎn)品質(zhì)業(yè)的要 求越來越高對檢測速度和精度的要求超過了陶眼 的能力；另一方面是因為戰(zhàn)像技術(shù)J汁算機技術(shù)或 圖像處理技術(shù)的發(fā)展機器視覺系統(tǒng)能夠完成的任 務(wù)越來越復(fù)殺，成本也越來越低a然而，機器視覺技術(shù)作為一門新興技術(shù)引人 中國時間并不悅，真正有經(jīng)驗的茶統(tǒng)集成人員也不 筈、而機器腴覺系統(tǒng)涉及到照明、成像.電子、自動 控制、計算機軟件硬件、機械設(shè)訃、件感器、光學(xué)等 各方面，把這些不同的技術(shù)集成到1個系統(tǒng)內(nèi)*并 使其相互完美配合工柞、車身就是艱巨的任務(wù).本文試圖根據(jù)作者多年的經(jīng)驗就機器視覺系收犒曰期*2007-02 09 修回日期：2007-02-11作倉簡介：戲盅待仃站4 一人男，山樂日照人.

5、美國邁阿密大學(xué)光學(xué)搏七*中美合資宇唐光電科技有限住可莆事拴+西安機 器視覺研究發(fā)展中心副主怪*主要從唏擾器視覺系統(tǒng)集磴硏究開粧丁粋l E-mail ：yun山0yphcjton9gp£" cam| 維晉資訊 第四講機器視覺系統(tǒng)集成技術(shù)| 維晉資訊 第四講機器視覺系統(tǒng)集成技術(shù)統(tǒng)集成技術(shù)給出一些建議'期望能夠幫助使用機器 視覺系統(tǒng)的用戶評怙其系統(tǒng)并在做岀合理決策時 提供參考，給研制系統(tǒng)的技術(shù)人員和公司提供一些 成功的經(jīng)驗.本文將介紹需求分析、資源配置、系統(tǒng) 集成等幾個方面的內(nèi)容。1需求分析準(zhǔn)確地描述機器視覺系統(tǒng)需婪完成的功能和 工作環(huán)境，對于整個機器視覺系統(tǒng)的成功集成是

6、至 關(guān)匿要的"對于需求的描述，實際定義了視覺系統(tǒng) 工作的場象、而圍繞這個場景設(shè)計1個系統(tǒng)來獲取 合適的圖像，并提取有用的信息或控制生產(chǎn)過程就 是我們工作的日標(biāo)。這個步驟看起來如此簡單.以 至于經(jīng)常被忽略，冇時候用戶在生產(chǎn)過程中產(chǎn)生r 某種常求，但是曲于知識面和技術(shù)方面的原因用 戶不知道自己需娶什么樣的視覺系統(tǒng)或者不能準(zhǔn) 確描述自己的需求*而這時系統(tǒng)集成商自己經(jīng)驗不 足或沒冇給以足夠的重視就不能幫助用戶來明確 系統(tǒng)的功能細(xì)節(jié)，這個系統(tǒng)集成開發(fā)過程注定耍走 彎路*甚至最終失敗"所以，系統(tǒng)集成的第1步就是明確用戶需求！ 一般情況下可以使用下面的表格來幫助我們實現(xiàn) 此目標(biāo)。M題說明

7、檢測什么東西？厭測的冃林物足什么？形狀是fl 么樣的？貝體檢関什么指標(biāo)？冇無？狀態(tài)？撿測哪詫描標(biāo)？尺寸？位覺？粘違！瘵異？毛刺？顏色？目標(biāo)多大？物障具體尺.寸足多少？工件距離？安裝攝像機到被測物體的距離最大允許務(wù)遠(yuǎn)7能否白由調(diào)作？分辨率多髙？測雖尺寸梢度要求啟多高？檢測速度多快？全白動測扯還是手功？每分鐘測 斌名少個？謎測零件周廚是香有安裝光源安裝空間的位置？是否有適合安裝攝像頭 的位怪？怎樣同進比絞舎適？披測物體是什么顏色？我們足否需關(guān)色2要對勰色判別？是苦町以利用顏色 屋斥幫助我們冥現(xiàn)檢測口的？材質(zhì)勒休是ft么材料的+衣面死學(xué)件 質(zhì)怎樣？合格判據(jù)？含格/不合格的定文工位信號？有工也觸發(fā)信號

8、還是需婆白動 連續(xù)拍攝圖像？問腿說明別除或控制方式是否需要H動剔除次品或控制 機器動柞？怎樣對不合格品進行 別除？便用什么信號格式.崔什 么位置進行？工作殲境工作環(huán)境的溫度，濕度.粉塵、防 水、雜敞光線悄況交橫日期這是不言而喻的2 資源配置機器視覺系統(tǒng)集成時，涉及到多門技術(shù).最星 本的系統(tǒng)曲需要照明、成像、圖像數(shù)字化、圖像處理 算法、計算機軟件硬件等稍微眞雜一點的系統(tǒng)還 會用到機械設(shè)計、傳感器、電子線路.PLC,運動控 制、數(shù)據(jù)庫、SPC等等*顯而易見"要把這么多不同 方面的技術(shù)和知識組合到1個系統(tǒng)里+使其相互完 美配合并穩(wěn)定地丁作對系統(tǒng)集成人員提岀了很高 的要求.需要根據(jù)具體的需求

9、來確定所需要配置的 資源和對策.2. 1機械設(shè)計由于需求不同，對機械部分的要求差別很大. 如果是全自動的機器視覺系統(tǒng)，機械部分一股礙要 完成的功能有理料、輸送、定位、剔除、下料等功能， 而冇的機器視覺系統(tǒng)則只盂要適當(dāng)?shù)墓潭ㄖЪ軄?固定相機、鏡頭和計算機即可，差別很大。例如”制 藥生產(chǎn)線上使用的西林瓶燈檢機，需要完成理精' 輸送、徒轉(zhuǎn)、剎車急停、相機同步快速歸位、下料、 分流別除等多個動作而且需要提供多達15個檢 測工位，以完成液體內(nèi)部懸浮物、玻璃碎屑、瓶身破 損、細(xì)菌群落、瓶口封裝、瓶底等多項指標(biāo)的檢測， 各種機械零件多達上千個系統(tǒng)非常之復(fù)雜，而停 車場使用的車牌識別系統(tǒng)的機械部分則非

10、常簡單* 只需雯相機固定和保護等安裝配件即可。-股系統(tǒng)集成商不愿意介人特別復(fù)雜的機械 設(shè)計r一方面是因為在用戶的觀念中機械設(shè)計沒 有尢多的技術(shù)含竝；另一方面是機械抑工周朋較 長.1個小小的設(shè)計錯誤也會導(dǎo)致返工，時間拖得 較長所以.雖然在很多悄形下機械設(shè)計在機器視 覺系統(tǒng)中占了很大的比恿，而II是關(guān)鍵部分，但投 人相對較少導(dǎo)致整個系統(tǒng)開發(fā)過程不順利。有時 候，和制造機械設(shè)備的公司會作是最好的選擇.需要指出的是，對于需箜復(fù)雜機械系統(tǒng)的全自 動系統(tǒng)由于大多數(shù)系統(tǒng)貝能針對特崔的產(chǎn)甜工 柞，所以，除非生產(chǎn)址達到一定數(shù)鈕'或者該產(chǎn)品會 生產(chǎn)很長時間，一般情況下半自動系統(tǒng)就足夠了。 自動泵統(tǒng)開發(fā)周期

11、U成本高*生產(chǎn)過程中換型困 難而半自動系統(tǒng)只需要更換1個夾貝，重新設(shè)置 檢測指標(biāo)和合格判據(jù)就可以了。2.2照明光源作者在不止1個場合強調(diào)過，這?？此坪唵蔚?照明系統(tǒng)是機器視覺系統(tǒng)最為關(guān)鍵的部分，冑接關(guān) 系到系統(tǒng)的嵐敗，其亜要性無論如何強調(diào)都是不過 分的.好的設(shè)計能夠使我們得到11幅好的圖像，從 而改善整個系統(tǒng)的分辨率.簡化軟件的運算而不 合適的照明則僉引捏很多問題，例如花點和過度 曝光會隱藏很多重要的信息；陰影則會引起邊緣的 誤檢f而信噪比的降低以及不均勻的照明會導(dǎo)致圖 像處理閾值選擇的困難*在實際應(yīng)用中，得到場景的圖像很容易*但是 得到1幅適合機器覘覺算法要求的圖像則很難，因 為被測目標(biāo)多種

12、多樣，形狀大小不同檢測指標(biāo)各 異而且各種材料的反光持性及顏色也不一樣要 把所需要檢測的特征突顯出來*而對不需要的持征 加以抑制并不是簡單的任務(wù).這壬要通過設(shè)計或 選擇合適的照明光源來解決針對特定的物休和場 景.設(shè)計7選取成本低廉、安裝簡單、照明效果好的 照明系統(tǒng)就捷我們搭建機器視覺系統(tǒng)首先需要完 成的任務(wù).那么什么樣的圖像才是好的圖像呢？ 一般說 來J幅好的閒像需要滿足以下條件1）充分利用視場 便被檢測物體持征充滿視 場，從而可以撾大限度地利用系統(tǒng)的分辨率*2）對比度合適灰度級的最大值接近斶5而 鼠小值接近山3）焦距陡確圖像役有因為景探或運動而不 清晰，4）照明均勻避免反光扌5）圖像畸變小*6

13、）感興趣的特征容易被檢測識別，苴他特征 不顯示或得到抑制"如杲選擇的光源，能使圖像達到這菴基本的書 求.就完成了機器視覺系統(tǒng)集成的第1步。2.3成像系統(tǒng)前面的講座中已經(jīng)介紹了圖像采集技術(shù)，這 里不再贅述，只是從系統(tǒng)集成的角度*筒單列舉選 擇這些礎(chǔ)件的原則由于相機鏡頭和板背經(jīng)過窖年的發(fā)展目前已 經(jīng)相當(dāng)成熟而fL在國內(nèi)市場上選樣的余地也不 大.-般是本著經(jīng)濟的原則，夠用就好。選擇相機時找的建謖是如果可能.就用USB 接口或13別接口的相機,這樣可以省掉1個板E的 費用、以后哽件或軟件升級時丁.柞疑會小一些。對 于高端的應(yīng)用除了 GmmLmk,似乎別無選擇。 最新開發(fā)的GigE接口相機”由

14、于TCP/IP協(xié)溟 Packet傳輸?shù)奶匦?，在某些場合呈不能保證數(shù)搖 的實時性的但其繪大的憂點是+數(shù)據(jù)線距離可以 很悅.主機可以安裝在辦公室內(nèi)，這樣現(xiàn)場就只需 要適當(dāng)?shù)匕惭b和保護相機和鏡頭°憶頭的可選擇性里少，除了 Computar .Nikon, Tamron iCVavitar及Moritex幾個制造商外丫市場 上也設(shè)有多少選擇空間，當(dāng)然大多數(shù)情況下，也就 夠用了*如果需要更好的成像效杲可以采用單反 相機鏡頭這樣做一般需要轉(zhuǎn)接匸I。Fujinon在廈 門有生產(chǎn)，可是國內(nèi)市場上未見銷售。德國CE 力血槻頭很好*可惜價格太貴.不太適合中國市 場*2-4計算機系統(tǒng)機器視覺系紀(jì)的最佳配置

15、，是使用工控機還是 使用嵌入式系統(tǒng)？在這個問題上，見仁見智，衿有優(yōu) 缺點.主要還是看便用的場合和系統(tǒng)的希求。2種 系統(tǒng)的主要恃點見下表；項目工控機嵌人式處理器圖像趕理能力儒低擴展性好體積大小現(xiàn)場安裝雅需妥機柜價格低高華斯程度低高度來斷復(fù)進性較好非倉好Jfl K蛆於容易，錐盤鼠標(biāo)牲朋* 一般用或融按屏界面JoyScick運行攆柞自動自動荀單原拱貨商才能維惟通過這些對比可以看岀'如果立裝空間允許*選澤基于工控機的視覺系統(tǒng)還是有更多的優(yōu)點的"但是.如果現(xiàn)場必筑使用體積很小的嵌人式系統(tǒng).那么我們別無選擇*捋公可的成熟產(chǎn)品-般都釆用了嵌人式主機, 例如Keyence tQnnron S

16、iemensfCcgncx 等 口這更多 的是由于商業(yè)銷書的考慮，因為這拝做可以保證自 己產(chǎn)品的獨持性，給差異化銷售找到借口中另方 面可以便用戶自己不能更換零件，從而保證售后臓 務(wù)的利潤。2-5圖像處理閽像處理作為機器視覺系統(tǒng)必不可少的部分* 韻得如此重要，以至于很多惜況下，初學(xué)乍到的人 會以為圏像處理就是機器視覺3其實我們所說的 圖像處理實際包含了圖像增強和炯像分析2個部力*圖像堆強是指經(jīng)過某種處理.使圖像改變實現(xiàn) 對比度提高、清晰度增加，持征突出等日的而圖像 分析定指經(jīng)過某種運算，來提取某種有用的信息. 如有無、好壞、位置等便用來進行判斷或控制再 例如.如何使模糊的圖像恢境到清晰是典型的圖

17、 像增強處理，只要得到清晰的圈像就達到了冃的 在繁忙的機場抓舶過祎旅客的面孔.找到可疑恐怖 分于則是典型的圖像分析過程。經(jīng)過多年的發(fā)展，圈像增強算法已經(jīng)基本成 熟芋例如提髙對比度的聯(lián)度拉伸、假彩色、邊緣提 取、濾波、傅立葉變換、小波變換等。在機器視覺系 統(tǒng)黑成時這些一般都是在圖像分析前作為圖像預(yù) 處理進行的，而圖像分折算法才是機器觀覺真正需 要解決的問題。通過針對臬個真冥場景的圖像，設(shè)計1種算 法，來得到有用的信息完全依賴尸技術(shù)人員的經(jīng) 驗和能力。在這個過程中*公司投人了大蚩時間和 金錢來進行研究，而得到的算法往往具有經(jīng)濟價 值公司或個人都會嚴(yán)格保瞬。例如，如果機場候機 廳里只有1個乘客*那么

18、設(shè)計個算法來找到這個乘 笄的位遠(yuǎn)是相對容易的很參公司或個人都可以 實現(xiàn)*而且使用的方法或者計算時間也差不多，而 娶在成尸上萬的游客中，找到具有某個蒔定特征的 乘莓，就不是那么容易了.各人設(shè)計出的算法肯宦 下差萬別*誰能夠在最短時間內(nèi)最可靠地找到目 標(biāo)，就是雖有價值的=這種悄況下，陳了經(jīng)驗之外' 靈感和創(chuàng)進能力也很重要。也就是說，作為系統(tǒng)集 成所需要的圖橡處理算法，需要很務(wù)的實踐經(jīng)驗， 而這些算法大多不是能夠從書本或文章里學(xué)到的. 2.6自動控制件為1個子系統(tǒng)完笑配合工作屮的機掘視覺 系統(tǒng)自然會用到光電傳感器、數(shù)字10接I、PL： 運動控制等工業(yè)控制元器件，這些方血的知識也是 必不可少的

19、。員然如此*這些都是試熟的技術(shù)，有基 本的知識直接拿來使用就可以了，不需要我們車新 設(shè)計而且零件供應(yīng)商也會提供一定的技術(shù)支持口 一般在整個系統(tǒng)的開發(fā)過程中，這方面花費的時間 和梢力是駐少的"3系統(tǒng)集成明確了我們的需求怙計了我們需耍配置的資 源理解r各子系統(tǒng)需要完成的工作，就到把這 些知識嫌合考慮組成1個整機系統(tǒng)的時候了。把這 些不同領(lǐng)域里得到的零部件組合在一起，希冀打開 電源時就能夠完美的工作，是不太現(xiàn)實的。這個過 程里有很參意想不到的問題需輕解決.一般情況 下我們需蔓遵循一宦的原則才能使出現(xiàn)的問題 最少。這里很據(jù)我們的經(jīng)驗給岀一些建議"1) 盡壁便用能夠采購的零件(off

20、-the-shelf components ):在可能的悄況下，應(yīng)肖盡可能使用 現(xiàn)威的備件”如撓頭、相機、板卡等能夠買到的東 西就不藝自己做'我已經(jīng)多次看到不同的公司和研 究室為了節(jié)省成本，自已設(shè)計制造很容易買到的零 件*結(jié)果浪費了很多時間走r很多彎路a例豹，有 1個公伺咨詢?yōu)槭裁闯上裥Ч缓谜胰ガF(xiàn)場一 看，他們使用了 1個宜卷加毫米的凸透鏡柞為鏡 頭，為了節(jié)省誠;本.15尤人民幣英來的，可想而知 成像效果如何.豈不知連SONY也不得不向4fI Ni即采購鏡頭！2) 分而治(divide and conquer):把系統(tǒng)分 割成多牛模塊，把毎1部分集成到一起，確保能夠 正確地工作，然后再把這些模塊組成1個大系統(tǒng). 這和軟件開發(fā)常用的方搓是一樣的只有把