電力監(jiān)控全景圖像拼接及接縫優(yōu)化技術(shù)研究與實現(xiàn)

北京理工大學(xué)珠海學(xué)院2020屆本科生畢業(yè)論文電力監(jiān)控全景圖像拼接及接縫優(yōu)化技術(shù)研究與實現(xiàn)摘要電力監(jiān)控全景圖像拼接理論、技術(shù)和算法實踐是目前圖像處理領(lǐng)域的研究熱點，它可以很好的解決當(dāng)前工業(yè)領(lǐng)域大面積監(jiān)控需求的痛點和難點：現(xiàn)實中因成像設(shè)備的限制、地理位置、視角制約等問題導(dǎo)致監(jiān)控不能直接拍攝到超大面積的監(jiān)控圖像，只能采用人工手動觀察來自多機位的不同顯示畫面。由于機位數(shù)量多，位置分散，因此需要電力監(jiān)控全景圖像，該研究主要是針對電力行業(yè)中對于環(huán)境的全面了解，對輸電線路周邊環(huán)境進行多角度圖像采集，并采用圖像拼接算法對圖像完成拼接，優(yōu)化接縫，使得接縫過渡平滑。所謂的電力監(jiān)控全景圖像拼接就是場景之中兩張以上具有部分重疊的照片彼此之間的關(guān)系匹配。通過在有一定的聯(lián)系的圖片之間進行采樣融合可得到一張包含多圖像信息、廣角、完整新的高清圖像，有利于改善全景圖像采集設(shè)備（例如廣角鏡頭或魚眼鏡頭）圖片邊緣易畸變的缺點，解決拼接融合區(qū)域過程中產(chǎn)生的巨大陰影和不自然的圖像連接問題。 本文以兩臺監(jiān)控攝像機從不同的位置和視角獲取到的電力現(xiàn)場圖像為研究對象基礎(chǔ)，深入探究基于SIFT的尺度不變特征變換匹配算法。傳統(tǒng)的拼接技術(shù)是選取一幅參考圖像，其余所有圖像都同參考圖像對齊、融合成全景圖，該方法由于積累誤差的存在會造成拼接后的圖像存在扭曲和失真現(xiàn)象，且相鄰圖像之間接縫優(yōu)化效果很不理想。而SIFT算法主要針對局部進行描述符識別，圖片之間除識別點外的整體允許有顯著不同，適合用于處理電力監(jiān)控生成的圖像。通過MATLAB軟件建模對電力監(jiān)控圖像進行深度的識別，包絡(luò)圖片預(yù)處理，特征點提取、檢測、描述（圖片相似值）和匹配，圖像融合以及降噪以此來生成電力監(jiān)控全景圖，并在機械性拼接后的全景圖上進行去接縫（光學(xué)優(yōu)化）等步驟，為電力監(jiān)控全景視圖處理提供解決方案。關(guān)鍵詞：全景圖像；接縫優(yōu)化；SIFT算法；信息可視化展示；ResearchandRealizationofPowerMonitoringPanoramicImageStitchingandSeamOptimizationTechnologyAbstract Powermonitoringpanoramicimagesplicingtheory,technologyandalgorithmpracticeisthecurrentresearchhotspotinthefieldofimageprocessing,itcanwellsolvethecurrentindustrialfieldoflargeareamonitoringneedsofpainpointsanddifficulties:inreality,duetothelimitationsofimagingequipment,geographicallocation,viewpointconstraintsandotherproblemsleadtomonitoringcannotdirectlycapturethemonitoringimageofthelargearea,canonlybemanuallyobservedmanuallyfrommultiplelocationsofdifferentdisplayscreens.Duetothelargenumberofstationsandscatteredlocations,theneedforpowermonitoringpanoramicimages,thisstudyismainlyforthepowerindustry'scomprehensiveunderstandingoftheenvironment,multi-angleimageacquisitionoftheenvironmentaroundthetransmissionline,andtheuseofimagestitchingalgorithmtocompletetheimagestitching,optimizetheseams,maketheseamtransitionsmooth.Theso-calledpowermonitoringpanoramaimagestitchingistherelationshipbetweentwoormorepartiallyoverlappingphotosinthescenematchingeachother.Bysamplingthefusionbetweenimageswithacertainconnectioncanobtainanewhigh-definitionimagecontainingmultipleimageinformation,wideangle,complete,whichisconducivetoimprovingtheshortcomingsofpanoramicimageacquisitionequipment(suchaswide-anglelensorfisheyelens)imageedgedistortion,tosolvetheproblemoflargeshadowsandunnaturalimageconnectiongeneratedduringtheprocessofstitchingandfusionarea. Inthispaper,SIFT-basedscale-invariantfeaturetransformationmatchingalgorithmisinvestigatedindepthbasedonthepowerfieldimagesobtainedbytwosurveillancecamerasfromdifferentlocationsandperspectives.Thetraditionalstitchingtechniqueistoselectareferenceimage,allotherimagesarealignedwiththereferenceimage,fusedintoapanorama,themethodduetotheexistenceofaccumulatederrorswillcausedistortionanddistortionofthestitchedimage,andtheseamoptimizationbetweenadjacentimagesisnotideal.TheSIFTalgorithmmainlyperformsdescriptorrecognitionlocally,andtheoverallallowancesbetweenimages,exceptfortherecognitionpoint,aresignificantlydifferent,suitableforprocessingimagesgeneratedbypowermonitoring.MATLABsoftwaremodelingforpowermonitoringimagedepthidentification,envelopeimagepre-processing,featurepointextraction,detection,descriptionandmatching,imagefusionandnoisereductiontogeneratepowermonitoringpanorama,andmechanicalstitchingofthepanoramaaftertheseam(opticaloptimization)andotherstepstoprovidesolutionsforpowermonitoringpanoramaviewprocessing.Keywords:PanoramicImage;SeamOptimization;SIFTAlgorithm;Informationvisualization目錄一、引言 1（一）論文寫作的目的和現(xiàn)實意義 2（二）本課題國內(nèi)外現(xiàn)狀及對所研究問題的認識 21. 電力監(jiān)控系統(tǒng) 22. 圖像拼接 3（三）本文主要研究工作 4二、基于SIFT算法的圖像拼接研究 5（一）圖像拼接的預(yù)處理 61. 特征點提取 62. 邊緣檢測 6（二）SIFT算法的實現(xiàn)與改進 81. 尺度空間極值檢測（Scale-spaceExtremaDetection） 8（1）高斯差分（DifferenceofGaussian，DoG） 8（2）構(gòu)建高斯多尺度金字塔 9（3）高斯差分金字塔 102. 關(guān)鍵點定位（Keypointlocalization） 113. 方向賦值（Orientationassignment） 144. 關(guān)鍵點描述（Keypointdescriptor） 15（三）圖像拼接 16（四）接縫優(yōu)化 17三、結(jié)論 18參考文獻 19謝辭 20PAGE1一、引言人類通過眼睛產(chǎn)生的視覺，耳朵的聽覺，鼻子的嗅覺，舌頭的味覺，身體感受器等結(jié)構(gòu)接受外界的各種信息，接受到外界信息后大腦識別、感知并改造世界。在各種結(jié)構(gòu)中，視覺是人類獲得信息的最重要手段之一，約占人類獲取的信息的六成，進一步來講，人類獲取視覺信息的直接來源就是圖像。人類的視覺系統(tǒng)從特定圖像中接收信息后在大腦中形成印象或意識，這些信息指導(dǎo)我們更加深度地看待自然界的很多事物。與醫(yī)院的X光片、導(dǎo)航的衛(wèi)星云圖、銀行的面孔識別一樣，電力監(jiān)控站點也需要極其詳細且易于查錯的信息圖像。圖像處理通常是指數(shù)字圖像處理。從根本上講，利用航拍器、掃描儀、工業(yè)相機等設(shè)備拍攝得到的圖片是一個保存有每一個微小的點的色彩數(shù)值的二維數(shù)組，該數(shù)組存儲著照片的所有信息，其中的元素稱為像素。在圖像處理領(lǐng)域中，會在彩色圖片與黑白圖像之間引入灰度圖，即把純白色與純黑色之間等分成0到255若干級，其中純白色的數(shù)值為255，純黑色為0。引入灰度圖可以使色彩變化更加直觀，顏色細節(jié)更到位，圖像信息減少，加速后續(xù)的圖片處理速度。圖像處理技術(shù)一般包括三個部分：圖像壓縮，圖像增強恢復(fù)，圖像匹配描述標(biāo)識，數(shù)字圖像處理則著重與數(shù)字計算機對圖像進行的處理加工。位于美國加利福尼亞州帕薩迪那的噴氣推進實驗室在20世紀(jì)60年代，通過使用數(shù)字計算器處理Voyager7"的月球照片，有力地證明了在大型工程中圖像處理發(fā)揮的巨大作用。隨著工業(yè)上數(shù)字圖像的大量采用，圖像處理技術(shù)也日益飛速發(fā)展，直至今日的電力監(jiān)控圖像處理技術(shù)已經(jīng)形成了完善的科學(xué)體系，特別是得益于最近20年電子計算機算力的提升，圖像處理的速度更加的穩(wěn)定、高效，已成為人們認識世界、改造世界的重要手段傳統(tǒng)一維信號處理的許多方法和概念包括采樣、降噪、量化等，可以直接應(yīng)用于圖像處理，但是由于圖像是二維信號決定了其與一維信號有著截然不同的處理方式和角度。早期的圖像處理主要由光學(xué)設(shè)備通過模擬模式執(zhí)行，這些光學(xué)方法具有并行性質(zhì)，因此它們在當(dāng)今的許多應(yīng)用（例如全息攝影）中仍占據(jù)著中心位置。后來由于計算機速度的急劇提高，部分技術(shù)迅速被數(shù)字圖像處理方法所取代。根據(jù)當(dāng)前的發(fā)展情況，通常意義上數(shù)字圖像處理技術(shù)更加普及、可靠和準(zhǔn)確，它們也比模擬方法更容易實現(xiàn)。目前直接獲取全景圖像常用的方法主要有兩種：一是利用配備專業(yè)的超廣角鏡頭或魚眼鏡頭的成像設(shè)備，一次性拍攝超大水平角度（＞100°）的圖像。但是廣角成像設(shè)備不僅成本較高，成像邊緣存在嚴(yán)重畸變難以校正，分辨率不均勻，焦距不方便調(diào)，難以全方位監(jiān)控。二是使用多個相機多角度拍攝，運用支架將旋轉(zhuǎn)攝像機固定，保持相機長時間往復(fù)的旋轉(zhuǎn)來確保觀察視角足夠廣。由于旋轉(zhuǎn)成像設(shè)備屬于專用的成像設(shè)備，旋轉(zhuǎn)結(jié)構(gòu)易老化，所以維護成本高昂。所謂圖像拼接，就是將兩張或一組具有一定相似區(qū)域（拼接的效果取決于相似區(qū)域的面積和相似度）的低畫幅、小視角、內(nèi)容少、細節(jié)豐富的圖像，經(jīng)過一定的處理技術(shù)，組合成一幅擁有高畫幅、大視角的新圖像，并且組合后的新圖像盡可能少地丟失拼接前圖像的信息，融合相似部分，保留非相似部分的信息。由于對拼接前的圖片要求不高，因此，對成像設(shè)備要求較低，減少成本，又可以獲得高分辨率、大視角的全景圖，所以近年來電力監(jiān)控全景圖像的拼接是圖像處理領(lǐng)域的熱點研究問題。（一）論文寫作的目的和現(xiàn)實意義變電站是電能傳輸?shù)幕经h(huán)節(jié)，隨著現(xiàn)代科技的快速發(fā)展，目前我們國家擁有大量的變電站，保障電網(wǎng)安全的重要條件就是要使其穩(wěn)定的運轉(zhuǎn)。變電站圖像監(jiān)控系統(tǒng)結(jié)構(gòu)相對來說較復(fù)雜，對圖像的采集、傳輸、識別、拼接、合并、輸出，任何一個環(huán)節(jié)出問題都可能導(dǎo)致整個系統(tǒng)受影響，因此需要對其工作全方位的監(jiān)控，并且要保證生成的圖像直觀清楚。電力監(jiān)控全景圖像拼接及接縫優(yōu)化技術(shù)研究與實現(xiàn)主要是針對電力行業(yè)中對于環(huán)境的全面了解，對輸電線路周邊環(huán)境進行多角度圖像采集，并采用圖像拼接算法對圖像完成拼接，優(yōu)化接縫，使得接縫過渡平滑。近代以來攝像影像技術(shù)飛速發(fā)展，如今的電力監(jiān)視系統(tǒng)已經(jīng)可以對設(shè)備進行全天候全方位的監(jiān)視和數(shù)據(jù)顯示，但是攝像機拍攝到的參數(shù)零散分布在各種圖片中，并且沒有直觀有效的視覺展示平臺。在日常檢查甚至發(fā)生事故時，操作員將可能需要分析和處理大量的圖像數(shù)據(jù)，并且難以快速地掌握關(guān)鍵的信息。因此，電力監(jiān)控系統(tǒng)需要以一種直觀、易理解的方式來顯示設(shè)備情況，以提高操作員對現(xiàn)場情況判斷的速度和準(zhǔn)確度。根據(jù)以上的分析來看，目前全景圖像拼接的實現(xiàn)在電力監(jiān)控領(lǐng)域意義重大，有利于保障生產(chǎn)的安全性，幫助企業(yè)消除孤島、降低成本，并且除了在變電站的監(jiān)控中，在軍隊、醫(yī)學(xué)、汽車駕駛、計算機視覺等領(lǐng)域意義也非常大，具有廣闊的工程應(yīng)用前景。（二）本課題國內(nèi)外現(xiàn)狀及對所研究問題的認識電力監(jiān)控系統(tǒng)電力監(jiān)控系統(tǒng)的作用是完成電力設(shè)備的實時監(jiān)控，這對于確保變電站的安全運行非常重要，如今隨著系統(tǒng)結(jié)構(gòu)的日益復(fù)雜，變電站的監(jiān)控也變得越來越重要。自二十世紀(jì)八十年代以來，電力監(jiān)控已從最初的電話信息傳輸和對講機監(jiān)控發(fā)展到如今的基于平臺的網(wǎng)絡(luò)化智能監(jiān)控系統(tǒng)。電力監(jiān)控系統(tǒng)作為目前我國建設(shè)“智能電網(wǎng)”計劃中不可或缺的組成部分，為設(shè)備異常和事故處理提供了有效的幫助，一直是研究對象的重點。目前關(guān)于電力監(jiān)控全景圖像拼接及接縫優(yōu)化技術(shù)在國內(nèi)外，主要有基于區(qū)域掃描的方式、基于局部特征的方法、最優(yōu)接縫線法等，特別地，基于特征的方法主要是通過圖像之間的特征匹配關(guān)系來建立映射關(guān)系：以兩兩圖片為單位相互匹配特征?；诰植刻卣鞯姆椒ň哂杏嬎懔啃　⒕哂恤敯粜?、要求圖像主體突出的特點，可以靈活適應(yīng)電力監(jiān)控現(xiàn)場各種變化。圖像特征匹配關(guān)系的建立是圖像拼接技術(shù)的核心與關(guān)鍵，圖像特征匹配能否準(zhǔn)確無誤，直接關(guān)系到圖像拼接輸出結(jié)果的成功率、準(zhǔn)確性和速度。圖像配準(zhǔn)是指建立兩張或多張圖像內(nèi)容之間的坐標(biāo)變換關(guān)系模型，并在空間位置上對齊匹配相應(yīng)的內(nèi)容，源圖像是可以在不同的時間、使用不同的傳感器、位于不同的角度或處于不同的拍攝條件下獲取的。圖SEQ圖\*ARABIC1電力監(jiān)控現(xiàn)場示意圖最早期美國谷歌公司的地圖應(yīng)用（GoogleMap&Earth）中廣泛加入的街景視圖是這項技術(shù)成功應(yīng)用的典范，通過對連續(xù)的多張圖片的拼接和接縫優(yōu)化，實現(xiàn)全景視圖的生成，同時目前國內(nèi)的騰訊、百度、高德街景地圖也在迅猛發(fā)展過程中。除了具有類似的拼接要求，本課題研究與街景地圖區(qū)別在于，街景地圖一般由單個攝像頭由采集車平穩(wěn)移動拍攝，移動拍攝的圖片具有極好的連續(xù)性，而本課題主要研究多攝像頭的定點拍攝。圖像拼接圖像拼接技術(shù)是圖像處理、機器視覺和深度學(xué)習(xí)領(lǐng)域的研究熱點和難點。使用一組局部興趣點進行圖像匹配可以追溯到1981年莫拉維克使用角點檢測器進行立體匹配的工作，哈里斯在1988年在對其進行了改進實現(xiàn)FPM特征點匹配，以使其能夠在很小的圖像變化和邊緣較模糊的情況下進行圖像識別。此后Harris角點檢測模塊算法廣泛用于許多其他圖像匹配任務(wù)中，盡管這些特征檢測器通常被稱為拐點檢測器，然而它們不僅僅選擇拐角點，并且還可以識別在預(yù)定比例下在所有方向上具有大梯度的任何圖像位置。然而不管是莫拉維克還是哈里斯的方法都存在一定缺陷，如圖2所示的簡單圖像，當(dāng)在同一窗口中放大圖像時，在小窗口中的小圖像中的角是平坦的，并不符合實際的要求。因此角檢測即便做得再優(yōu)化，也總是有不可克服的缺點：對圖像的尺度很敏感，不具有尺度不變性，需要設(shè)計針對特殊的拐角探測匹配算法。圖SEQ圖\*ARABIC2角檢測器存在缺陷二十世紀(jì)九十年代，理查德提出最小非線性迭代的方法，通過找出圖像之間內(nèi)各種相似的幾何圖形的變換關(guān)系來對齊圖像，待拼接的圖像需要經(jīng)過旋轉(zhuǎn)、拉伸、平移變換。皮爾格在2000年提出自適應(yīng)拼接模型，他將待拼接圖像切分成多個窄圖像（提取條形圖,），在圖像之間多重投影來進行拼接，自適應(yīng)拼接方式可以根據(jù)相機的各種不同的運動方式來從庫中選擇拼接模型。但是由于自適應(yīng)拼接方式需要多次裁切圖像，并且拼接的效果非常依賴于切分次數(shù)和大小，對于分辨率大、數(shù)量多的圖像拼接為了提升拼接成功率，需要較高的機器性能。SIFT關(guān)鍵點檢測器（簡稱“SIFT”），是DavidLowe發(fā)明于1999年，在后續(xù)也有很多研究一直逐步完善改進的一種圖像特征點識別算法，本文主要利用此SIFT算法在圖片之間進行目標(biāo)識別和匹配，為圖像拼接提供根本條件。由于擁有基于比例不變的關(guān)鍵點提取圖像的特征，SIFT算法不僅對圖像的縮放、平移、旋轉(zhuǎn)、小幅拉伸變換具有不變性，而且對于光照的角度、濃度、遮罩、陰影變化以及復(fù)雜的仿射和投影變換也可以保持高度的不變性，這些優(yōu)勢使它非常適合用于匹配類似對象或場景的不同圖像。SIFT算法在空間和頻域上都很好地定位，從而降低了被掩蔽，噪聲或雜散波損壞的可能性，可以使用高效的算法從典型圖像中提取大量特征。值得一提的是，SIFT提取的這些特征具有很高的區(qū)分性，可以使各個特征與大型特征數(shù)據(jù)庫正確匹配的可能性很高，從而為目標(biāo)和場景識別提供基礎(chǔ)，在計算機視覺的研究中也具有很大的作用。隨著計算機視覺研究的發(fā)展，07年ECCV上發(fā)表了一種基于SIFT改進的SURF算法：它通過改進特征的提取和描述方式，從速度上比較，是SIFT的速度的3倍，從對變化識別準(zhǔn)確度情況上看，SIFT在尺度和旋轉(zhuǎn)變換的情況下效果最好，SURF則在亮度變化下的效果最好。（三）本文主要研究工作本章的實驗對硬件要求較高，在一臺配置為Intel3.2GHzCPU處理器、12GB內(nèi)存以及安裝了Windows10操作系統(tǒng)的臺式機上，使用MATLAB最新版本R2019b軟件平臺對變電站中設(shè)備對象以及環(huán)境對象進行了模型搭建與優(yōu)化，針對電力行業(yè)中對于環(huán)境的全面了解，對輸電線路周邊環(huán)境進行多角度圖像采集，并采用圖像拼接算法對圖像完成拼接，優(yōu)化接縫，使得接縫過渡平滑。本文算法中簡要討論了圖像拼接的應(yīng)用、基本流程和分類方法等，其中包括：1、尺度空間極值檢測（Scale-spaceextremadetection）：進行特征點尋找的第一階段首先是盡可能的在足夠大的尺度上搜索圖像的像素位置，利用平滑高斯函數(shù)差分來識別對尺度和方向都不變的潛在興趣點。其中的關(guān)鍵就是構(gòu)建包含多層圖像的“塔”，宏觀上看，“塔”的每一層是對其下一層進行高斯卷積。2、關(guān)鍵點定位（Keypointlocalization）：在每一個識別出的候選點上，都要建立一個詳細的模型擬合，以用來確定位置和點的相對級別（構(gòu)建等級體系）。關(guān)鍵點能否被選擇是基于其穩(wěn)定性的高低來衡量的。3、方向賦值（Orientationassignment）：為每一個關(guān)鍵點分配一個或多個方向，方向基于局部圖像的梯度方向的變化。通過引入方向，為關(guān)鍵點的增加了描述器，對圖片所有操作都將執(zhí)行在相對于指定的方向、比例尺、和每個特定的位置，從而為旋轉(zhuǎn)變換提供了不變性。4、關(guān)鍵點描述（Keypointdescriptor）：利用特定的描述符來對關(guān)鍵點進行分析，描述符是某局部區(qū)域（關(guān)鍵點）的SIFT圖像梯度的三維空間分布直方圖。在每個像素處的梯度被視為一個關(guān)于三維初級特征向量的樣本，這個樣本由該向量像素位置和梯度的方向組成。二、基于SIFT算法的圖像拼接研究如介紹中所述，首先為了尺度空間極值檢測，第一步要做的是獲取圖片的高斯金字塔，高斯金字塔本質(zhì)上是原圖片在多次不同高斯模糊強度上進行操作后的結(jié)果。為了尋找圖片的特征點，需要在不同比例空間中找到具有極值的圖像，而這些極值一般出現(xiàn)在圖片的邊緣或者灰度值發(fā)生較大變化的位置，由于產(chǎn)生的極值是離散的，因此要對高斯模糊后的圖片添加一個差分運算，差分之后得到相應(yīng)的差分圖像，直接找到極值點。一旦通過比較某個像素點和它的“鄰居”找到了一個關(guān)鍵點，那么下一個步驟是對附近的數(shù)據(jù)進行詳細的擬合，排除那些對比度低、對噪聲敏感或不利于邊緣定位的點。由于圖片的坐標(biāo)是離散的，為了精確定位，需要采用曲面擬合的方法，通過插值來找到真正的極值點的位置。位置找到之后，我們要找一下這個極值點的主方向，所以第三步是方向賦值（方向確定），計算關(guān)鍵點附近各個像素之間梯度的方向和大小。方向同樣是離散的，因此為了獲取精確的方向，也需要進行擬合和插值的方法，找到一個更加精確的方向。（這個特征點可能不止一個方向，有可能會有一個副峰），最后一步是對關(guān)鍵點進行描述（構(gòu)造特征點的描述器），在特征點周圍取一個區(qū)域，對這樣一個高斯圓內(nèi)部的梯度強度和梯度方向進行一個統(tǒng)計。（一）圖像拼接的預(yù)處理特征點提取從人眼的角度來看，提取特征點來識別圖像在邏輯上是合理的：例如，我們?nèi)绾巫R別不同人之間的差異？眼睛，鼻子和嘴巴是很好的性格特征；我們?nèi)绾巫R別產(chǎn)品的好壞？物體的結(jié)構(gòu)和輪廓就是良好的特征點，特征點是人眼對某些部分感興趣的點，也被稱為“穩(wěn)定點”。在傳統(tǒng)的ComputerVision中，本質(zhì)上所做的一切都是考慮如何讓計算機以特定的方式模擬識別宏觀尺度上的特定特征點（例如人臉識別）。要將兩個圖縫合在一起，那么第一件事就是計算機要找到相應(yīng)的特征點（兩個特征的重疊部分），這些特征點必須具有良好的局部不變性，即當(dāng)人類識別出該物體時，無論該物體是遠處，近處，被拉動還是進行伸縮運動，它都能夠正確識別該物體，這被稱為尺度不變性。邊緣檢測現(xiàn)實世界中由于各種物體的影響（例如兩幅圖片中的天空部分容易干擾特征點的匹配，需要先對圖像進行預(yù)處理、雜波過濾。邊緣檢測能夠很好的將電力設(shè)備的輪廓識別出來，例如輸電線、變壓器，先將這些設(shè)備的輪廓識別出來有利于后面特征點的匹配和拼圖的準(zhǔn)確度平滑度。邊緣檢測可以利用經(jīng)典的Sobel算子進行，它是一種用于計算圖像灰度近似值的函數(shù)。所謂圖像邊緣，就是某一個區(qū)域與另一個區(qū)域的邊界，即當(dāng)前區(qū)域的終結(jié)與新區(qū)域的開始的過渡位置，其周圍像素的灰度變化相對較大。邊緣位于對象、背景、區(qū)域三者之間，是圖像分割的基礎(chǔ)，圖像邊緣有兩個要素，分別是方向和幅度：如圖3所示，沿著圖像邊緣走向的灰度值變化比較平緩；而沿著垂直邊緣的走向灰度值則變化得比較大，通過導(dǎo)數(shù)微分的方式就可以將這種變化表現(xiàn)出來。邊緣是一種特殊的圖像位置標(biāo)記，并且對灰度變化敏感，將圖像的邊緣找出來有利于接縫優(yōu)化、排除雜點。圖SEQ圖\*ARABIC3各種圖像邊緣類型及導(dǎo)數(shù)曲線規(guī)律Sobel算子邊緣檢測核心是利用卷積因子對像素矩陣卷積，卷積運算本質(zhì)是加權(quán)求和指定的某片圖像區(qū)域內(nèi)的像素值，將圖像區(qū)域中的每個像素值乘以一個指定的卷積模板的每個元素來進行圖像像素點數(shù)值變換。首先將區(qū)域分割成3*3的矩陣A，與模板B進行卷積運算：A=A1A2A3A’=A1*B1+A2*B2+A3*B3+A4*B4+A5*B5+A6*B6+A7*B7+A8*B8+A9*B9sobel的卷積因子:Gx=?10+1利用Gx和Gy分別于原始圖片矩陣A相乘(計算Gx與Gy與模板每行的乘積)：Gx=?10得到改變灰度的大?。篏=原圖像：灰度圖：邊緣識別后成像圖SEQ圖\*ARABIC4圖SEQ圖\*ARABIC5圖SEQ圖\*ARABIC6圖SEQ圖\*ARABIC7圖SEQ圖\*ARABIC8圖SEQ圖\*ARABIC9由圖可見，通過邊緣識別，很好的去除了白云的影響，電力現(xiàn)場中有大量的電線、鋼管和變壓器，這幾種物體擁有著極好的線條感，有利于圖片的識別與拼接。利用海森矩陣對局部曲線兩個方向的曲率來判斷邊緣效應(yīng)：H矩陣的特征值和曲率成正比。（二）SIFT算法的實現(xiàn)與改進尺度空間極值檢測（Scale-spaceExtremaDetection）（1）高斯差分（DifferenceofGaussian，DoG）特征點檢測主要通過高斯差分（簡稱“DoG”）完成，將圖像以不同的高斯度模糊，平滑區(qū)域不會產(chǎn)生大的變化，而復(fù)雜的紋理（邊緣、點、角）會產(chǎn)生突變，而相差很大的點就是特征點。為了找到足夠的點，需要通過放大和縮小圖像幾次來重復(fù)此步驟，以找到準(zhǔn)確的特征點。高斯模糊運算對圖片的處理本質(zhì)上是一種圖像濾鏡，使用高斯函數(shù)計算模糊蒙版，與原圖像做卷積運算以使圖像模糊。N維空間正態(tài)分布方程：Gσ是正態(tài)分布的標(biāo)準(zhǔn)差，σ值越大，圖像越模糊(平滑)，r為模糊半徑，模糊半徑是指模板元素到模板中心的距離。不同期望的高斯模糊后的圖片差值，得到一個物體的輪廓。圖SEQ圖\*ARABIC10連續(xù)高斯模糊（以左圖為例，右圖亦然） 圖SEQ圖\*ARABIC11進行DoG變換后的圖像（2）構(gòu)建高斯多尺度金字塔高斯金字塔模仿的是人眼對圖像變換的識別方式，無論圖像旋轉(zhuǎn)、拉伸、縮放后，人眼依舊能夠清晰地分辨圖像的原始信息，這是因為大腦通過圖像的輪廓、特定物體形狀的識別，在圖像處理中，不能只考慮二維的空間，還要考慮圖像的“縱深”的變換，需要在二維的基礎(chǔ)上繼續(xù)提取出更深一層的維度。而高斯核是唯一的線性核，只有通過高斯核變換的圖像，它在模糊的基礎(chǔ)上并不會添加另類噪聲，因此只能使用高斯卷積進行圖像處理。圖SEQ圖\*ARABIC12高斯金字塔與卷積層將上個步驟得到的六張高斯模糊圖（σ大小不同）構(gòu)成多組單尺度空間（又稱為“八度”，Octave），即某個單尺度空間內(nèi)的圖像尺度是相同的，空間中圖像的不同點在于空間內(nèi)分別是原圖和經(jīng)過不同方差的高斯濾波后的圖片，相鄰的圖片應(yīng)該越來越模糊。換而言之，不同尺度的圖像論組，相同尺度的圖像論層，每一組單尺度空間中包含很多層σ不同的圖像高斯卷積。如圖12所示，箭頭表示下一組圖像來源于上一組圖像長與寬的“隔點取點”，即降采樣縮小二分之一，以此類推。各一求不同期望的高斯模糊后的圖片差值，σ0取1.52D一個空間尺度上有6張圖片。每相鄰的兩張圖片之差就會產(chǎn)生一張DoG，因此總共可以產(chǎn)生5幅DoG.。為了尋找圖片的特征點，我們要找到這個圖片，在不同尺度空間里的極值。這些機制通常是在圖片的邊緣，或者是灰度圖片的地方，所以要對高斯模糊后的圖片進行一個差分，差分之后得到高斯模糊圖像的差分圖像。 圖SEQ圖\*ARABIC13模擬圖像在人眼視網(wǎng)膜上的成像“近大遠小”（3）高斯差分金字塔通過以上兩個步驟得到高斯差分和高斯金字塔，通過兩者得到的圖片再構(gòu)造高斯差分金字塔。圖像的金字塔模型是指，將原始圖像不斷降階采樣，得到一系列大小不一的圖像，由大到小，從下到上構(gòu)成的塔狀模型。原圖像為金子塔的第一層，每次降采樣所得到的新圖像為金字塔的一層(每層一張圖像)，每個金字塔共n層。如圖14，同一組的兩層相減就得到高斯差分金字塔。對于σ的取值使用以下公式?jīng)Q定，其中，M、N代表圖像的長寬，S代表層數(shù)，n代表希望提取的組數(shù)：bSk圖SEQ圖\*ARABIC14高斯差分金字塔以圖15為例，圖中的一組小圖片可以看到用了四種不同模糊程度的卷積和，對圖片進行一個高斯模糊的操作后，相鄰的高斯模糊圖像進行差分會得到圖片的一些邊緣和極值的信息，然后對里面的極值點進行判斷，需要判斷這個點跟相鄰的二十六個鄰居像素之間的關(guān)系。如果滿足最大或最小，那這就是一個潛在的關(guān)鍵點。圖SEQ圖\*ARABIC15對圖片多重卷積求極值點關(guān)鍵點定位（Keypointlocalization）關(guān)鍵點就是相對穩(wěn)定、不會怎么變化、包含很多信息的點，這些點通常就是極值的位置，因為極值的位置很穩(wěn)定，可以是最大值，也可以是最小值。下一步就要找到這些極值點：圖16中的紅色X的標(biāo)志是我們想要確定的極值點，除了x軸和y軸，尺度空間中還有豎的z軸，需要尋找它上一層和下一層相鄰的兩層高斯模糊差分圖像，然后看這個位置周圍的二十六個相鄰的鄰居像素。若這個點的差分值是這相鄰的二十六個點的最大值或最小值，那這個點就是一個潛在的特征極值點。圖SEQ圖\*ARABIC16三個方向梯度由于現(xiàn)實中拍攝的圖像“背景”與“前景”不同，為減少非主體背景噪聲的干擾需要在處理之前添加閾值化變換，其中T取經(jīng)驗值0.04：a由于求得的極值點的搜索是在離散空間中進行的，檢測到的極值點并不是真正意義上的極值點，所以要精確定位需要采用一個曲面擬合的方法，通過插值來找到真正的極值點。利用已知的離散空間點插值得到的連續(xù)空間極值點的方法叫做子像素插值（Sub-pixelInterpolation），為了提高關(guān)鍵點的穩(wěn)定性，需要對尺度空間的DoG函數(shù)進行曲線擬合。DoG函數(shù)在尺度空間泰勒展開式為：D其中，X=(x,y,σ)TX代入D(x)得： D通過對X求偏導(dǎo)，可計算出方程的極值，提高匹配和算法穩(wěn)定性。 由于矩陣連續(xù)求導(dǎo)存在迭代輾轉(zhuǎn)的關(guān)系，當(dāng)三個方向的位移量都小于0.5時，認為已經(jīng)收斂，即已逼近極值的準(zhǔn)確位置，停止迭代，否則認為已超出迭代限制舍去此關(guān)鍵點。圖SEQ圖\*ARABIC17離散像素點需進行插值擬合利用有限差分求導(dǎo)法對三個方向共26個點進行求導(dǎo)，能夠提高代碼的運行效率：如圖所示，f1與f3的差值除以2h（h為可自定常數(shù)，通常取越小越好），用此方法可快速計算兩點之間的偏導(dǎo)，且由于差分金字塔中每組的圖像的尺度不同，求出的極值點需要映射回原始圖像的位置：圖SEQ圖\*ARABIC18有限差分求導(dǎo)法在關(guān)鍵點提取中還存在一下兩種主要的噪聲干擾：1、低對比度的點：若D2、邊緣效應(yīng)去除：由于邊緣位置非常容易產(chǎn)生極值，根據(jù)在圖像預(yù)處理中已對邊緣的提取的結(jié)果，去除邊緣點。圖SEQ圖\*ARABIC19關(guān)鍵點檢測方向賦值（Orientationassignment）極值點確定后，需要確定極值點的方向。首先計算關(guān)鍵點附近各個像素之間的梯度方向和梯度幅值。從圖中可以看到很多小箭頭，這些箭頭的方向就是梯度的方向，箭頭的長度代表了梯度的幅值大小，長度越長，幅值越大。然后，以一個半徑為3*1.5σ的圓圈作為窗口，統(tǒng)計這個窗口內(nèi)各種梯度方向上幅值的累計值，可以看到總共有8個方向（假設(shè)以45°為基準(zhǔn)，360°共有8個方向）。求出累計值最高的方向（如圖中向左的方向），這個方向作為該特征點的一個主方向示意圖。與關(guān)鍵點定位一樣，梯度方向也一定是離散的，所以為了獲取精確的方向，需要進行與上一步驟類似的擬合和插值的方法，找到一個更加精確的方向。圖SEQ圖\*ARABIC20統(tǒng)計最高的方向統(tǒng)計以特征點為圓心以該特征點所在高斯圖像尺度的1.5倍為半徑的圓內(nèi)，所有像素的梯度方向與幅值，為減少特征點附近的點與特征點較遠的點相比，對特征點的影響效果不同的問題，需要在所在的高斯圖像尺度做1.5高斯濾波進行加權(quán)。關(guān)鍵點描述（Keypointdescriptor）構(gòu)造對特征點的描述器，首先在特征點周圍取8*8的區(qū)域，對這樣一個高斯變換圖的內(nèi)部的梯度強度和梯度方向進行一個統(tǒng)計。從大區(qū)域中再分出2*2共四個小的區(qū)域，每個小的區(qū)域，要統(tǒng)計這些梯度在不同方向上的幅值的累積直方圖。以左上角為例（紅色標(biāo)注），分了8個方向，精度為45°，之后統(tǒng)計這個子區(qū)域內(nèi)的梯度的方向，然后把相應(yīng)的幅值累加上?？梢钥吹阶笊辖沁@個小區(qū)域，他在往右下這個方向上是比較明顯的。所以對這個關(guān)鍵點來說，構(gòu)造了一個2*2*8，即32個特征的一個描述器。圖SEQ圖\*ARABIC21用8個方向描述關(guān)鍵點 圖SEQ圖\*ARABIC22角度直方圖由于SIFT期望具有旋轉(zhuǎn)不變性，因此在變換時不能直接取高斯圖像上關(guān)鍵點周圍的區(qū)域，需要先將區(qū)域旋轉(zhuǎn)到主方向上，然后再進行統(tǒng)計才能得到穩(wěn)定的直方圖。圖SEQ圖\*ARABIC23旋轉(zhuǎn)到主方向上 圖SEQ圖\*ARABIC24不同尺度下取的區(qū)域的大?。ㄈ﹫D像拼接 首先對兩幅圖進行粗特征點匹配，得出非常多的相似點，由圖可見，算法對變電器和電線的處理較好，但是對于天空和地面的匹配較差，因此，需要利用圖片預(yù)處理中的邊緣檢測，對非邊緣位置進行排除。當(dāng)兩幅圖像的SIFT特征向量生成后，采用關(guān)鍵點特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點的相似性判定度量。取圖像1中的某個關(guān)鍵點，并找出其與圖像2中歐式距離最近的前兩個關(guān)鍵點，在這兩個關(guān)鍵點中，如果最近的距離除以次近的距離少于某個比例閾值，則接受這一對匹配點。降低這個比例閾值，SIFT匹配點數(shù)目雖然會減少，但更加穩(wěn)定。圖SEQ圖\*ARABIC25粗匹配 圖SEQ圖\*ARABIC26灰度匹配基礎(chǔ)上特征點匹配圖SEQ圖\*ARABIC27彩色圖片特征點匹配 圖SEQ圖\*ARABIC28拼接后圖像（四）接縫優(yōu)化可以看到圖中有一條較為明顯的拼接豎線，這是由于兩幅圖的亮度、對比度以及白平衡等參數(shù)的不同，疊加而產(chǎn)生的接縫。在電力監(jiān)控現(xiàn)場中，因為兩臺固定的監(jiān)視器的相對位置不會發(fā)生太大的變化，因此，拍攝出來的兩張圖片不會有角度過大的旋轉(zhuǎn)、拉伸等問題，并且，兩張圖片在一般情況下是左右拼接，采用梯度融合的方式可以很好的將圖片邊緣產(chǎn)生的接縫疊加，使接縫消失掉。圖SEQ圖\*ARABIC29接縫問題首先，在左邊的圖中設(shè)置一個漸變遮罩,在左側(cè)約300的位置，權(quán)重為1，到650位置，權(quán)重逐漸衰減到0，然后對于右邊的圖片同理，在右側(cè)約650的位置，權(quán)重為1，到300位置，權(quán)重逐漸衰減到0。由于兩張圖片是橫向拼接，對于左側(cè)的圖片左側(cè)的權(quán)重較大，對于右側(cè)的圖片右側(cè)的權(quán)重較大，同時兼顧兩者邊緣的變化情況。使用梯度遮罩相比直接拼圖，在邊緣處根據(jù)權(quán)重來防止重疊部分灰度、亮度的不同，可以達到較高的效率。 圖SEQ圖\*ARABIC30 圖片兩邊權(quán)重融合

三、結(jié)論 電力監(jiān)控全景圖像拼接及接縫優(yōu)化技術(shù)可從多個小圖像無縫合成大全景圖像，前提是這些小圖像為同一電力監(jiān)控場景所獲取的、具有一定的重疊區(qū)域的圖像。由于本質(zhì)是圖像拼接技術(shù)，因此除了電力監(jiān)控，在航天領(lǐng)域可以用于衛(wèi)星遙感圖像的處理；在醫(yī)學(xué)領(lǐng)域可以用于機器圖像的分析；在民用領(lǐng)域可以用于數(shù)字視頻編輯；在新興領(lǐng)域可以用于VR虛擬現(xiàn)實技術(shù)，解決傳統(tǒng)圖像拼接中拼接效果不理想的制約。本文研究基于SIFT特征匹配算法的圖像拼接，并用于電力監(jiān)控全景圖像的獲得，主要針對以下幾個方面展開了討論與研究：（１）詳細介紹了電力監(jiān)控全景圖像拼接技術(shù)的發(fā)展近況及研究的現(xiàn)實意義，對圖像拼接技術(shù)的歷史發(fā)展中各種算法的優(yōu)缺點、目前各種配準(zhǔn)方