基于BP神經(jīng)網(wǎng)絡(luò)的印刷字符識(shí)別系統(tǒng)_碩士學(xué)位論文（pdf格式可編輯）.pdf

原創(chuàng)性聲明 本人聲明，所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作 及取得的研究成果。盡我所知，除了論文中特另, JD n 以標(biāo)注和致謝的地方 外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得 中南大學(xué)或其他單位的學(xué)位或證書(shū)而使用過(guò)的材料。與我共同工作的同志 對(duì)本研究所作的貢獻(xiàn)均已在論文中作了明確的說(shuō)明。 作者簽名：么盥E l 期：絲z 翌年旦生月蘭生日 學(xué)位論文版權(quán)使用授權(quán)書(shū) 本人了解中南大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：學(xué)校有權(quán) 保留學(xué)位論文并根據(jù)國(guó)家或湖南省有關(guān)部門(mén)規(guī)定送交學(xué)位論文，允許學(xué)位 論文被查閱和借閱；學(xué)?？梢怨紝W(xué)位論文的全部或部分內(nèi)容，可以采用 復(fù)印、縮印或其它手段保存學(xué)位論文。同時(shí)授權(quán)中國(guó)科學(xué)技術(shù)信息研究所 將本學(xué)位論文收錄到中國(guó)學(xué)位論文全文數(shù)據(jù)庫(kù)，并通過(guò)網(wǎng)絡(luò)向社會(huì)公 眾提供信息服務(wù)。 作者簽名：堡翅導(dǎo)師簽名磐壘 E l 期： p A B S T R A C T O p t i c a lC h a r a c t e rR e c o g n i t i o nh a sb e c o m et h ea i mo fm a n yr e s e a r c h e ss t u d i e si n t h el a s td e c a d e s a n dt h a ti sj u s tc a u s ei t si n f l u e n c ei nm a n yd i f f e r e n ti n d u s t r i e s s u c ha sb a n k i n g ，s h i p p i n g ，c o m m e r c e ，c o m m u n i c a t i o n s ，m a r k e t i n g ，l i c e n s ep l a t e r e c o g n i t i o n ，e t c D u et ot h eg r e a ti m p o r t a n c ea n dp r o m i s i n gf u t u r eo ft h i sf i e l d ，W e f o u n du s e f u lt oc r e a t eas y s t e ma b l et or e c o g n i z em a c h i n ep r i n t e dc h a r a c t e r s A l t h o u g h ，w eu n d e r s t a n dt h a tc r e a t i n gas y s t e mw i t hao n eh u n d r e dp e r c e n tc o r r e c t r e c o g n i t i o nr a t ei sq u i t ep r o b a b l yi m p o s s i b l ei no u rw o r l do fn o i s ea n dd i f f e r e n t f o n ts t y l e s ，b e c a u s ea l g o r i t h m sg e n e r a l l yo p e r a t eo nad i f f e r e n ts e to ff e a t u r e st h a n h u m a n sf o rc o m p u t a t i o n a lr e a s o n s B u tw es t i l lc a nd e v e l o pas y s t e ma b l et o r e c o g n i z eac o n s i d e r a b l ea m o u n to fs a m p l e s T h e r e f o r e ，t h i sd i s s e r t a t i o np r e s e n t s as y s t e mt h a t u s i n gf e a t u r e c h a r a c t e r e x t r a c t i o na n dn e u r a ln e t w o r kc l a s s i f i e rt r a i n e dw i t ht h e B a c k p r o p a g a t i o n a l g o r i t h m , C a nr e c o g n i z em a c h i n ep r i n t e dE n g l i s hc h a r a c t e r s T h es y s t e mf i r s ta p p l i e sb i n a r i z a t i o nt ot h ei m a g ea n da v o i d st h i n n i n g ( a n do t h e r m a j o rp r e p r o c e s s i n g ) b ya s s u m i n gt h a tt h ei n p u td a t ai sn o tp a r t i c u l a r l ya b e r r a n t W i t ht h i sa s s u m p t i o n ，i tt h e np r o c e e d st ol o o kf o rf e a t u r ep o i n t s W eh a v ed e s c r i b e dt w om e t h o d sf o rf e a t u r ep o i n te x t r a c t i o n ：t h ef i r s to n ei s c a l l e dd i s c r e t ef e a t u r ep o i n te x t r a c t i o n ，t h i sm e t h o dS C a n St h ei m a g e sl o o k i n gf o r c e r t a i np r e d e f i n e dp o i n t s ；t h es e c o n dm e t h o di sz o n i n g ，w h i c hw o r k sd i v i d i n gt h e i m a g ei nz o n e sa n dc a l c u l a t e st h ea v e r a g e 黟a yl e v e lf o re a c h A f t e r w a r d s ，t h ed a t a c o l l e c t e df r o mt h ef e a t u r ee x t r a c t i o np r o c e s si si n p u ti n t ot h en e u r a ln e t w o r k T h i s n e t w o r kw a sd e s i g nw i t ht h r e el a y e r sa n dw o r k su s i n gb a c k p r o p a g a t i o n A d d i t i o n a l l y ，s o m ea d j u s t m e n t sh a v eb e e nm a d e t ot h en e t w o r ki no r d e rt oo b t a i n o p t i m u mr e s u l t s F i n a l l y ，w ep e r f o r m e df u r t h e rn e u r a ln e t w o r ka n a l y s i so ns a m p l e d a t aa n dc o m p a r et h eo b t a i n e dr e s u l t sf r o mt h et w op r o p o s e dm e t h o d sa n dt h e e x p e r i m e n t sc o r r o b o r a t et h eg o o dt h ee f f i c i e n c ya n dp e r f o r m a n c eo ft h ep r o p o s e d r e c o g n i t i o ns y s t e m I nt h el a s ts e c t i o nw ed i s c u s st h ec o n c l u s i o n sa n df u t u r ew o r k K E YW O R D SF e a t u r e r e c o g n i t i o n ， M a c h i n e e x t r a c t i o n ，O p t i c a l c h a r a c t e r r e c o g n i t i o n ，P a t t e m p r i n t e d c h a r a c t e r r e c o g n i t i o n ，B a c k - p r o p a g a t i o n 摘要 光學(xué)字符識(shí)別( O C R ) 是人類(lèi)的一項(xiàng)瑣碎任務(wù)，但要建立一個(gè)計(jì)算機(jī)程 序進(jìn)行字符識(shí)別是很困難的。識(shí)別這些模式僅僅是這些瑣碎任務(wù)中的一件， 人能很好的做到但計(jì)算機(jī)不能，主要原因是實(shí)際應(yīng)用中有許多可變因素。例 如，由隨機(jī)變化的模式組成的噪聲，特別是靠近邊緣處，并且有許多噪音的 字符很可能被計(jì)算機(jī)程序解釋成一個(gè)完全不同的字符。另一個(gè)混亂的來(lái)源是 高水平的抽象化；必須認(rèn)識(shí)到有成千上萬(wàn)風(fēng)格的常用類(lèi)型和字符，其中大部 分對(duì)識(shí)別程序是沒(méi)有用的。這些因素以及其他原因使得這個(gè)領(lǐng)域非常有趣和 有挑戰(zhàn)性，這就是為什么選擇這方面作為論文的研究來(lái)源。還應(yīng)該提到的 是：在過(guò)去幾十年里，光學(xué)字符識(shí)別已成為許多研究者的研究目標(biāo)，是因?yàn)?它在許多不同的行業(yè)，如銀行業(yè)，航運(yùn)，商業(yè)，通信，市場(chǎng)營(yíng)銷(xiāo)，車(chē)牌識(shí)別 等有重要影響。由于這一領(lǐng)域的重要性和美好未來(lái)，人們對(duì)這一領(lǐng)域的研究 興趣非常濃厚。 光學(xué)字符識(shí)別在大約1 9 2 9 年開(kāi)始并由古斯塔夫陶舍所做。光學(xué)字符識(shí) 別，通?？s寫(xiě)為O C R ，是圖像的機(jī)械或電子轉(zhuǎn)換成機(jī)器可編輯的文本。雖 然，在這一領(lǐng)域的學(xué)術(shù)研究仍在繼續(xù)，對(duì)光學(xué)字符識(shí)別的重點(diǎn)已轉(zhuǎn)移到技術(shù) 證明。用光學(xué)技術(shù)，例如光學(xué)反射鏡和透鏡技術(shù)的光學(xué)字符識(shí)別，用掃描儀 和計(jì)算機(jī)算法的數(shù)字字符識(shí)別，起初都被認(rèn)為是單獨(dú)的領(lǐng)域，現(xiàn)己擴(kuò)大到包 括數(shù)字圖像處理領(lǐng)域中。 商業(yè)上，光學(xué)字符閱讀器出現(xiàn)在2 0 世紀(jì)5 0 年代，從那時(shí)起，字符和文檔 識(shí)別技術(shù)已經(jīng)提供了非常先進(jìn)的產(chǎn)品和系統(tǒng)，以滿(mǎn)足整個(gè)開(kāi)發(fā)過(guò)程中的工業(yè) 和商業(yè)的需要。同時(shí)，基于此項(xiàng)技術(shù)的企業(yè)投資到研究和開(kāi)發(fā)更先進(jìn)的技 術(shù)。在這里我們可以看到一個(gè)良性循環(huán)，即新技術(shù)促使新的應(yīng)用，以及新的 應(yīng)用支持開(kāi)發(fā)更先進(jìn)的技術(shù)。 因此，我們認(rèn)為研究和發(fā)明一個(gè)能夠識(shí)別機(jī)打印字符的系統(tǒng)是非常有意 義的。雖然，我們知道創(chuàng)造一個(gè)百分之百正確識(shí)別率的系統(tǒng)在充斥噪音和不 同的字體風(fēng)格的世界里很可能無(wú)法實(shí)現(xiàn)，因?yàn)樵诓煌盗械奶卣魃纤惴ǖ淖?用普遍多于人類(lèi)不同的功能設(shè)置。不過(guò)，我們?nèi)匀豢梢蚤_(kāi)發(fā)一個(gè)能夠識(shí)別出 大量樣品的系統(tǒng)。總之，本論文提出了一個(gè)識(shí)別系統(tǒng)，這個(gè)系統(tǒng)使用功能特 I I 征提取和神經(jīng)網(wǎng)絡(luò)分類(lèi)器的反向傳播算法訓(xùn)練，可以正確識(shí)別一定數(shù)量的印 刷英文字符。 事實(shí)上，這存在著幾個(gè)不同的技術(shù)來(lái)識(shí)別字符，但我們選擇使用人工B P 神經(jīng)網(wǎng)絡(luò)。這是因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)在O C R 中應(yīng)用可以大大簡(jiǎn)化代碼，提高識(shí) 別質(zhì)量，同時(shí)實(shí)現(xiàn)良好的性能。利用光學(xué)字符識(shí)別的另一個(gè)好處是神經(jīng)網(wǎng)絡(luò) 系統(tǒng)的可擴(kuò)展性，它能夠識(shí)別比初始定義的更多的字符集。因此，人工神經(jīng) 網(wǎng)絡(luò)( A N N ) 是一種奇妙的工具，有助于解決此類(lèi)問(wèn)題。人工神經(jīng)網(wǎng)絡(luò)，往 往善于解決對(duì)于傳統(tǒng)技術(shù)過(guò)于復(fù)雜的問(wèn)題，例如，沒(méi)有一個(gè)算法解決問(wèn)題或 對(duì)于這個(gè)問(wèn)題解決方案的算法由于過(guò)于復(fù)雜而無(wú)法找到，它們是優(yōu)良的模式 識(shí)別器和強(qiáng)大的分類(lèi)器。對(duì)于不同的分類(lèi)問(wèn)題，提供了理想的解決方案，如 講話，性格，信號(hào)識(shí)別，以及預(yù)測(cè)功能和系統(tǒng)建模( 其中的物理過(guò)程很難理 解，或者是高度復(fù)雜的) ，由于這些優(yōu)勢(shì)，所以我們選擇B P 神經(jīng)網(wǎng)絡(luò)作為分 類(lèi)器。 該系統(tǒng)首先應(yīng)用于二值化，是指一個(gè)灰度圖像轉(zhuǎn)換成二值圖像，以及其 他主要的預(yù)處理，通過(guò)假設(shè)輸入數(shù)據(jù)有噪聲。有了這個(gè)假設(shè)，然后繼續(xù)尋找 特征點(diǎn)。特征點(diǎn)的選擇問(wèn)題意味著從一整套可用的功能子集的選擇，允許判 別性地選擇合適的子集。一個(gè)良好的特征點(diǎn)集的選擇是分類(lèi)過(guò)程的關(guān)鍵，如 果所考慮的特征點(diǎn)集不包括所有的信息需求，以區(qū)分屬于不同階級(jí)的樣本， 不管學(xué)習(xí)算法的有效性，所達(dá)到的性能可能會(huì)不理想。 在我們的工作中，所描述的特征點(diǎn)提取一共有兩種方法：第一種是所謂 的離散特征點(diǎn)提取，這種方法掃描圖像的某些預(yù)先確定的點(diǎn)，依次檢查每一 個(gè)像素，同時(shí)它檢查其8 個(gè)鄰居點(diǎn)，并對(duì)現(xiàn)有的系統(tǒng)有1 0 個(gè)顯著特征點(diǎn)的定 義，這足夠?qū)崿F(xiàn)我們的目標(biāo)，其優(yōu)勢(shì)是不會(huì)擁有太多無(wú)趣的點(diǎn)，使特征點(diǎn)提 取更快和更可靠。第二種方法是所謂的分區(qū)，這需要以圖像的亮度圖為基礎(chǔ) 功能，劃分區(qū)域中的圖像，并計(jì)算每個(gè)亮度圖的平均水平。 一旦我們從特征提取中收集數(shù)據(jù)，仍然需要修復(fù)圖像。其功能需要我們 從特征矩陣轉(zhuǎn)移到一個(gè)向量形式，以使用它作為輸入向量送入神經(jīng)網(wǎng)絡(luò)來(lái)學(xué) 習(xí)和分類(lèi)。為了達(dá)到這個(gè)目標(biāo)，需要改變矩陣的值，以適應(yīng)變化的差別。這 只是因?yàn)楦鶕?jù)分類(lèi)器( 神經(jīng)網(wǎng)絡(luò)) 每個(gè)字母都是一種模式。基本上，每個(gè)訓(xùn) 練模式包括：兩個(gè)浮點(diǎn)數(shù)字的一維數(shù)組的以及輸入和輸出( 目標(biāo)) 陣列。輸 入數(shù)組包含每個(gè)特征提取方法的每個(gè)字母的特征向量表示，輸出數(shù)組代表預(yù) I I I 期的反應(yīng)，在輸出數(shù)組系統(tǒng)能夠識(shí)別和字符一樣多的元素。因此，為了使人 們認(rèn)識(shí)所有的英文詞匯字母，我們將需要2 6 個(gè)輸出數(shù)組元素。 我們?cè)谒械哪Ｊ皆O(shè)置完畢后，加入神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)被設(shè)計(jì)成一個(gè)使 用三層S 形輸出功能和反向傳播算法。但清晰的反向傳播運(yùn)行很慢，我們希 望它更快。因此，我們有一些可以被設(shè)置為加快學(xué)習(xí)階段的調(diào)整。對(duì)一些輸 出功能進(jìn)行調(diào)整與修改，這使系統(tǒng)運(yùn)算要求不高，其次我們依照一些技術(shù)在 每一層找到適當(dāng)?shù)碾[藏層和神經(jīng)元的數(shù)量。進(jìn)行一些測(cè)試之后，發(fā)現(xiàn)變量更 適合我們?cè)O(shè)計(jì)的系統(tǒng)。隨著這些都作了調(diào)整，并對(duì)網(wǎng)絡(luò)進(jìn)行有效訓(xùn)練，可以 嘗試對(duì)表現(xiàn)最好的訓(xùn)練集中識(shí)別所有的模式。 在實(shí)驗(yàn)部分，用不同的樣本進(jìn)行了多次試驗(yàn)。在第一個(gè)實(shí)驗(yàn)中，從英語(yǔ) 詞匯所有的2 6 個(gè)字母中選擇了一個(gè)非正規(guī)的圖像數(shù)據(jù)集( 模糊，傾斜和洗圖 像) ，發(fā)現(xiàn)訓(xùn)練時(shí)間之間存在差異，這是因?yàn)槭褂秒x散特征接近網(wǎng)絡(luò)所用的 收斂時(shí)間比使用分區(qū)方法要長(zhǎng)。另一個(gè)重要區(qū)別是識(shí)別率，用分區(qū)制得N 8 5 的識(shí)別率，但是用離散特征只得至1 J 7 8 的識(shí)別率，略低于分區(qū)制。 第二個(gè)實(shí)驗(yàn)是調(diào)查輸入特征向量的大小如何會(huì)影響識(shí)別率的準(zhǔn)確性。因 此，我們嘗試了四種不同的圖像大小，并運(yùn)用兩種方法進(jìn)行測(cè)試。對(duì)于離散 特征方法，注意到增加特征向量的大小越多，在網(wǎng)絡(luò)融合所花費(fèi)的時(shí)間越 多，而字符的識(shí)別率下降越多。至于分區(qū)方法，用同一種方法進(jìn)行實(shí)驗(yàn)，但 網(wǎng)絡(luò)的行為結(jié)果卻不同，在這種情況下，發(fā)現(xiàn)隨著向量大小的增加，可以得 到更好的識(shí)別率，直至到達(dá)一個(gè)點(diǎn)才開(kāi)始下降。 我們還進(jìn)行了第三個(gè)實(shí)驗(yàn)，這一次是當(dāng)我們?cè)跇颖局蟹謩e添加模糊和噪 聲時(shí)觀察網(wǎng)絡(luò)的行為。首先，我們添加模糊特性到樣本中，通過(guò)使用高斯方 法對(duì)字符數(shù)據(jù)加入噪聲。之后，將模糊的樣本輸入到系統(tǒng)，接著進(jìn)行識(shí)別過(guò) 程，正如預(yù)期的那樣，用分區(qū)制和離散特征方法都增加了模糊量樣本的識(shí)別 率。即用分區(qū)方法也可以取得較高的識(shí)別率。在這個(gè)實(shí)驗(yàn)的第二部分，為了 研究，如果增加噪音到樣本中將得到什么樣的結(jié)果，采用椒鹽噪聲添加到字 符中。在四個(gè)運(yùn)行階段的每一步，我們都增加噪音量，這明顯降低兩者的識(shí) 別率。我們注意到，用圖像噪音并用分區(qū)的方法可得到更好的效果。 最后，總結(jié)我們的工作，文章開(kāi)始提到如何調(diào)查和對(duì)模式識(shí)別的研究， 特別是光學(xué)字符識(shí)別系統(tǒng)，詳細(xì)闡述了它的背景、定義、應(yīng)用和技術(shù)。選擇 離散特征和分區(qū)制作為特征提取的兩種方法。研究的另一項(xiàng)內(nèi)容是分類(lèi)器， 選擇B P 神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)證明了這種網(wǎng)絡(luò)的優(yōu)越性。在達(dá)到良好的識(shí)別性能的 I V 同時(shí)能夠改善質(zhì)量，并使得系統(tǒng)更具有擴(kuò)展性，能夠識(shí)別比初始定義更多的 字符集。 仔細(xì)分析和研究了上述過(guò)程之后可以發(fā)現(xiàn)，先前提到的兩個(gè)特征點(diǎn)提取 的技術(shù)在結(jié)合神經(jīng)網(wǎng)絡(luò)分類(lèi)器，對(duì)機(jī)器印刷的英文字符識(shí)別時(shí)存在差異。實(shí) 驗(yàn)結(jié)果表明上述描述的光學(xué)字符識(shí)別系統(tǒng)的性能相當(dāng)高。當(dāng)考慮到所測(cè)試幾 個(gè)非正常的圖像( 原始的，干凈的，模糊的，有噪聲的圖像) 時(shí)，我們沒(méi)有 使用任何噪聲濾波技術(shù)。在我們的研究中，使用分區(qū)制技術(shù)獲得高達(dá)8 5 的 識(shí)別率，用離散特征技術(shù)獲得7 8 5 7 的識(shí)別率。顯然，我們看到的分區(qū)制技 術(shù)稍微好一點(diǎn)，盡管大多數(shù)實(shí)驗(yàn)中得知，兩種技術(shù)的得到的識(shí)別率都很高。 此外，我們對(duì)樣本進(jìn)行添加噪聲和不同幅度模糊處理兩種方法做了比 較，結(jié)果顯示：性能呈現(xiàn)一定程度下降，并對(duì)于這兩種方法是令人滿(mǎn)意的。 盡管用分區(qū)制得到了更好的識(shí)別率。結(jié)果還表明：使用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)光學(xué)字 符識(shí)別系統(tǒng)，發(fā)現(xiàn)面向?qū)ο竽Ｐ褪沁m當(dāng)?shù)暮陀幸娴摹?未來(lái)的研究工作包括用更多的樣本數(shù)據(jù)進(jìn)一步對(duì)字符識(shí)別系統(tǒng)進(jìn)行測(cè) 試。另外，還可以通過(guò)結(jié)合上面提到的兩種特征提取方法改進(jìn)系統(tǒng)，以提高 識(shí)別能力和獲得更好的學(xué)習(xí)過(guò)程。往后還將嘗試使用不同的學(xué)習(xí)算法提高系 統(tǒng)的適應(yīng)性和健壯性。 關(guān)鍵字特征選擇，光字符識(shí)別，模式識(shí)別，機(jī)器印刷字符，B P 神經(jīng)網(wǎng)絡(luò) V C o n t e n t s A b s t r a c t I 摘j I l 辱I I L i s to f F i g u r e s V I I I L i s to f T a b l e s X L i s to f A b b r e v i a t i o n s X I C h a p t e r1 I n t r o d u c t i o n 1 1 1M o t i v a t i o nf o rt h er e s e a r c h 1 1 2D e f i n i t i o no ft h ep r o b l e m 1 1 3 O b j e c t i v ea n de x p e c t e dr e s u l t s - 1 1 4R e s e a r c hm e t h o d 2 1 5O r d e ro ft h i sd i s s e r t a t i o n 2 C h a p t e r 2T h e o r e t i c a lF r a m e w o r k 4 2 1 O p t i c a lC h a r a c t e rR e c o g n i t i o n 4 2 1 1 B a c k g r o u n d 4 2 1 2D e f i n i t i o no fO C R 4 2 1 3 C o m m e r c i a lO C R SS y s t e m s 5 2 1 4C u n r e n ta p p l i c a t i o n so fO C R s “6 2 1 5 A p p r o a c h e st oc h a r a c t e rr e c o g n i t i o n 6 2 2P a t t e r nR e c o g n i t i o ns y s t e m s 7 2 3F e a t u r eE x t r a c t i o n 8 2 3 1 D i s c r e t eF e a t u r e s 9 2 3 2 Z o n i n g 9 2 4 B a c k p r o p a g a t i o nn e u r a ln e t w o r k 1 0 C h a p t e r 3 D e v e l o p m e n to f t h eO C RS y s t e m 1 2 3 1 S y s t e mD e s i g n 1 2 3 1 1 N e u r a lN e t w o r kA r c h i t e c t u r e 1 2 V I 3 1 2 C o m p o n e n t so f t h es y s t e m 1 4 3 1 3D a t as t r u c t u r em o d e l 1 6 3 2 P r e p r o c e s s i n g ”1 7 3 3 A p p l i c a t i o no f t h eF e a t u r eE x t r a c t i o nM e t h o d s 18 3 3 1 D i s c r e t eF e a t u r e s 一1 9 3 3 2 Z o n i n g - 2 2 3 4 G e n e r a t i n gP a t t e r n s “2 2 3 5 A d j u s t i n gN e t w o r kt oi m p r o v ep e r f o r m a n c e 2 3 3 5 1 S c a l i n gd a t at oi m p r o v ep e r f o r m a n c e 2 4 3 5 2 S i g m o i dF u n c t i o n 2 4 3 5 3 A d j u s t i n gt h eS h a r p n e s s G a i n 2 5 3 5 4 A m o u n to f h i d d e nl a y e r s 一2 6 3 5 5A m o 吼to f n e u r o n si nt h eh i d d e nl a y e r 2 8 3 6 U s e rI n t e r f a c e ”2 9 C h a p t e r4E x p e r i m e n t s 3 4 4 1 E x p e r i m e n te n v i r o n m e n t 3 4 4 2 E x p e r i m e n tp r o c e d u r e s ：3 4 4 3 E x p e r i m e n t sr e s u l t sa n da n a l y s i s 一3 5 C h a p t e r5 C o n c l u s i o na n dF u t u r eW o r k 4 3 5 1 C o n c l u s i o n s 4 3 5 2 F u t l 盯eW o r k “4 4 R e f e r e n c e s 4 5 A c l m o w l e d g m e n t s 4 9 P u b l i c a t i o a sD u r i n gt h eG r a d u a t eP e r i o d 5 0 V I I L I S TO FF I G U R E S 1 。1 。_ _ _ _ _ 。_ 一 F i g u r e2 1B a c k p r o p a g a t i o nn e t w o r ka r c h i t e c t m e 1 0 F i g u r e3 1I n p u tp a t t e r n s 1 3 F i g u r e3 - 2C a l c u l a t i o no f t h ee r r o rv a l u e 1 4 F i g u r e3 - 3S y s t e mc o m p o n e n t s 15 F i g u r e3 - 4C l a s sd i a g r a mo ft h es y s t e m 17 F i g u r e3 - 5G r a ys c a l ei m a g e 18 F i g u r e3 - 6P r o c e s s e di m a g e 18 F i g u r e3 - 7X SN e i g h b o rp i x e l s 1 9 F i g u r e3 - 8B i n a r i z e di m a g eo f H 2 1 F i g u r e3 - 9D i s c r e t ef e a t u r ep o i n t sl a b e l e d 。2 2 F i g u r e ：；- 10Z o n i n gm e t h o d 2 2 F i g u r e ：；一11G r a p ho f t h es i g m o i df u n c t i o n 2 4 F i g u r e ：；一1 2M o d i f i e ds i g m o i df u n c t i o n 2 5 F i g u r e ：；- 13G e n e r a t i o n o f t h ei n p u tp a t t e r n s 3 0 F i g u r e ：；一1 4C r e a t en e t w o r k 3 0 F i g u r e ：；- 15T r a i n i n gp r o c e s s 31 F i g u r e ：；一16R e s u l t sa f t e rt h et r a i n i n gi sf i n i s h e d 31 F i g u r e3 - 1 7L o a d i n gi m a g et or e c o g n i z e 3 2 F i g u r e3 18E x t r a c t e df e a t u r e s 3 3 F i g u r e3 1 9R e c o g n i t i o no f l e t t e r “F ”一3 3 F i g u r e4 1R e c o g n i t i o nr a t ec o m p a r i s o n 3 6 F i g u r e4 - 2D i f f e r e n tv e c t o rs i z e ( D i s c r e t ef e a t u r e s ) 3 7 F i g u r e4 - 3D i f f e r e n tv e c t o rs i z e ( Z o n i n g ) 3 8 F i g u r e4 - 4Z o n i n gw i t hB l u rs a m p l e s 3 9 F i g u r e4 - 5D i s c r e t eF e a t u r e sw i t hB l u rs a m p l e s 4 0 F i g u r e4 - 6Z o n i n gV sD i s c r e t eF e a t u r e s 4 0 F i g u r e4 - 7Z o n i n gw i t hn o i s ys a m p l e s 4 1 V I I I F i g u r e4 - 8D i s c r e t eF e a t u r e sw i t hn o i s ys a m p l e s 4 1 F i g u r e4 - 9Z o n i n gV sD i s c r e t eF e a t u r e s 4 2 I X L I S TO F 霸B L E S T a b l e2 - 1O C Rs o f t w a r ea p p l i c a t i o n s 5 T a b l e3 1P r i m i t i v eF e a t u r e sP o i n t s 2 0 T a b l e3 2T e s t st of i n dt h ec o r r e c ta m o u n to f h i d d e nl a y e r s 2 7 T a b l e3 - 3T e s t st of i n dt h ec o r r e c ta m o u n to f n e u r o n si nt h eh i d d e n1 a y e r 一2 8 T a b l e4 1R e s u l t so ft h ef i r s te x p e r i m e n t 3 5 T a b l e4 2D i f r e r e n tv e c t o rs i z e ( D i s c r e t ef e a t u r e s ) 3 7 T a b l e4 - 3D i f f e r e n tv e c t o rs i z e ( Z o n i n g ) 3 8 X L I S TO FA B B R E V I A T I O N S B P B a c kP r o p a g a t i o n O C R O p t i c a lC h a r a c t e rR e c o g n i t i o n P R P a t t e mR e c o g n i t i o n A N N - A r t i f i c i a lN e u r a lN e t w o r k O O P 一0 b j e c tO r i e n t e dM o d e l X I C h a p t e r 1I N T R O D U C T I O N T h i sc h a p t e rp r e s e n t st h eg e n e r a l i d e ao ft h i sw o r k ，d e f i n i t i o no ft h ep r o b l e m ， o b j e c t i v e sa n d ab r i e fd e s c r i p t i o no ft h ea l lt h ep a r t so ft h et h e s i s J 1M o t i v a t i o nf o rt h er e s e a r c h O p t i c a lC h a r a c t e rR e c o g n i t i o n ( O C R ) i sat r i v i a l t a s kf o rh u m a n s ，b u tt ob u i l da c o m p u t e rp r o g r a mt h a td o e sc h a r a c t e rr e c o g n i t i o ni sq u i t ed i f f i c u l t R e c o g n i z i n gp a t t e r n s i si u s to n eo ft h o s et h i n g sp e o p l ed ow e l lb u tc o m p u t e r sd on o t T h em a i nr e a s o nf o rt h i s i st h em a n ys o u r c e so fv a r i a b i l i t y N o i s ef o re x a m p l e ，c o n s i s t so fr a n d o mc h a n g e st oa p a t t e r n ，p a r t i c u l a r l yn e a rt h ee d g e s ，a n d ac h a r a c t e rw i t hm u c hn o i s em a yb ei n t e r p r e t e d a sac o m p l e t e l yd i f f e r e n tc h a r a c t e rb yac o m p u t e rp r o g r a m A n o t h e r s o u r c eo fc o n t u s i o n i st h eh i g hl e v e lo fa b s t r a c t i o n ；t h e r ea r et h o u s a n d ss t y l e so ft y p ei nc o m m o n u s ea n da c h a r a c t e rr e c o g n i t i o np r o g r a mm u s tr e c o g n i z em o s to ft h e s et ob eo fa n y u s e T h e s ea n d o t h e rr e B s o n sm a _ k et h i sa r e av e r yi n t e r e s t i n ga n dc h a l l e n g i n g ，w h i c hi sw h yw ec h o o s e t h i sa r e ao u rs o u r c eo fr e s e a r c h W es h o u l da l s om e n t i o nt h a tt h ef i e l do fO C R h a sb r o a d e n e di t si n f l u e n c ei nm a n y d i f f e r e n ti n d u s t r i e sl i k ei nb a n k i n g ，s h i p p i n g ，c o m m e r c e ，c o m m u n i c a t i o n s ，m a r k e t i n g ， l i c e n s ep l a t er e c o g n i t i o n ，e t c T h e r e f o r e ，i tw o u l db ev e r yu s e f u lt od oa r e s e a r c hi nt h i s a r e aa n dd e v e l o pas y s t e ma b l et or e c o g n i z em a c h i n ep r i n t e dc h a r a c t e r s 1 2 D e f i n i t i o no f t h ep r o b l e m O u rg r e a tc o n c e r ni nt h i sw o r ki st or e c o g n i z em a c h i n ep r i n t e dc h a r a c t e r s F o rt h i s p u r p o s e ，w eh a v ec h o s e nt h eE n g l i s hv o c a b u l a r yl e t t e r s a st h ei n p u t A f t e rt h a t ，w ew i l l t a c k l ew i t ht h ei s s u e so ft h ea n a l y s i s ，d e s i g n ，a n di m p l e m e n t a t i o no fas y s t e ma b l e t o a c c o m p l i s ho u ro b je c t i v e s 1 3 O b j e c t i v ea n de x p e c t e d r e s u l t s T h em a i no b je c t i v eo ft h i sd i s s e r t a t i