基于GATE的語義理解論文

摘要：本文基于GATE匡架定制了基于中文并限定領(lǐng)域的信息抽取系統(tǒng)，以之用于在人機(jī)交互中對(duì)自然語言的處理，以此來解決對(duì)自然語言的業(yè)務(wù)問詢請求。關(guān)鍵詞：語義理解信息抽取1.引言隨著人工智能的發(fā)展，人機(jī)交互的深入，人們越來越傾向于用自然語言，而不是原有的生硬的關(guān)鍵詞元素輸入，與智能系統(tǒng)進(jìn)行交互。事實(shí)上，用戶更習(xí)慣于用自然語言來描述一個(gè)問題，而不是用一系列的關(guān)鍵詞，例如使用“我想看劉德華的電影”，而不是“劉德華and電影”。而研究顯示，用自然語言來描述對(duì)信息的需求比用關(guān)鍵詞準(zhǔn)確得多，同時(shí)用戶也更容易做到。這一需求的出現(xiàn)，引發(fā)了自然語言處理領(lǐng)域的快速發(fā)展，帶來了一系列人機(jī)交互模式的變革，例如智能搜索引擎的出現(xiàn)，Siri的快速蔓延與發(fā)展。本文就利用自然語言進(jìn)行業(yè)務(wù)問詢請求進(jìn)行了初探，定制中文信息抽取系統(tǒng)研究語義理解。2.語義理解目前，對(duì)自然語言的理解策略是針對(duì)某一領(lǐng)域知識(shí)庫，在進(jìn)行特殊處理之后，對(duì)用戶提出的問題，系統(tǒng)可采用適當(dāng)?shù)牟呗越o出理解與分析，而且能夠針對(duì)用戶要求進(jìn)行相關(guān)的統(tǒng)計(jì)和針對(duì)具體情況給出適當(dāng)?shù)慕ㄗh。機(jī)器對(duì)語言的分析和理解是一個(gè)層次化的過程，這個(gè)過程一般分為4個(gè)層次：語音分析、語法分析、語義分析和語用分析。在這4個(gè)層次中，針對(duì)語義的分析是人機(jī)交互最重要的內(nèi)容，也是本文研究的核心。2.1語義分析的基本概念語義分析是指通過分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達(dá)的真正含義或概念。為達(dá)到理解語言的目的，需要進(jìn)行3步工作：首先，理解出現(xiàn)的每個(gè)詞；其次，從詞義構(gòu)造理解語句意義的結(jié)構(gòu)；最后，從句子語義結(jié)構(gòu)表示言語的結(jié)構(gòu)。2.2本文所采用的語義分析主要算法在本文的研究中，進(jìn)行語義分析主要采用正則文法規(guī)則匹配算法。正則文法是自然語言領(lǐng)域中經(jīng)常使用的一種文法形式，和正則表達(dá)式，有限狀態(tài)機(jī)具有一一對(duì)應(yīng)關(guān)系，適用于基于規(guī)則的文本匹配與內(nèi)容理解。標(biāo)注模板引擎格式進(jìn)行編寫，規(guī)則部分獨(dú)立于引擎，更易于維護(hù)。所采用格式的語法類似于普通正則表達(dá)式，但匹配單位不是字符而是上游流程標(biāo)注過的文本。3.業(yè)務(wù)模型描述本文研究的自然語言業(yè)務(wù)問詢，其應(yīng)用場景為：當(dāng)用戶在智能系統(tǒng)上輸入一段自然語言，該智能系統(tǒng)能根據(jù)輸入的內(nèi)容，按照預(yù)先定義的語義范圍與用戶意圖進(jìn)行匹配，得出用戶意圖對(duì)應(yīng)的業(yè)務(wù)。用戶的意圖被識(shí)別為業(yè)務(wù)類型后，按照業(yè)務(wù)類型對(duì)用戶語句進(jìn)行業(yè)務(wù)要素提取。3.1業(yè)務(wù)分類模型通常，自然語言理解任務(wù)可以分解為關(guān)鍵命名實(shí)體識(shí)別子任務(wù)和意圖識(shí)別子任務(wù)。命名實(shí)體識(shí)別和抽取任務(wù)在自然語言信息提取中應(yīng)用比較廣泛， 意圖識(shí)別則可以看成是一個(gè)語句層次的分類問題，即通過語句和上下文以及任務(wù)相關(guān)的知識(shí)等各種特征，把語句映射為預(yù)定義的一組意圖上去。圖1自然語言理解框架目前對(duì)于自然語言的命名實(shí)體識(shí)別和抽取任務(wù)主要采用統(tǒng)計(jì)理解和規(guī)則匹配來實(shí)現(xiàn)。由于主流的統(tǒng)計(jì)理解需要一定數(shù)量的標(biāo)注，即對(duì)數(shù)據(jù)有一定的依賴性，且在本研究中，我們規(guī)定的用戶輸入有限定領(lǐng)域句法固定，詞表相對(duì)穩(wěn)定不變的特點(diǎn)，因此本文采用規(guī)則匹配的方法進(jìn)行業(yè)務(wù)分類與提取關(guān)鍵字。以 "July31,2000"為例說明：分詞(Tokeniser):被拆為"July""31"" ，""2000"詞典查找(Gazetteer):在日期詞典中查找，找到"July"是月份。命名實(shí)體語法檢查(NamedEntityGrammar):使用關(guān)于日期的語法規(guī)則(通過JAPE定義)，"July31,2000"被識(shí)別為一個(gè)日期。3.2業(yè)務(wù)關(guān)鍵字提取模型前面說過，用戶的意圖被識(shí)別為業(yè)務(wù)類型后，即可按照業(yè)務(wù)類型對(duì)用戶語句進(jìn)行業(yè)務(wù)要素提取。但實(shí)際情況是，用戶的語句不一定能提供較完整的業(yè)務(wù)要素，甚至有時(shí)是極度模糊的。同時(shí)，不同的業(yè)務(wù)領(lǐng)域，所需要的業(yè)務(wù)要素又有極大的差別。面對(duì)這樣的業(yè)務(wù)場景，建立針對(duì)業(yè)務(wù)領(lǐng)域的關(guān)鍵字提取模型，就成為較好的解決方法。業(yè)務(wù)關(guān)鍵字提取模型就是標(biāo)記，一個(gè)業(yè)務(wù)哪些要素是必須的，哪些要素是可選。如對(duì)于音視頻業(yè)務(wù)，它必須的要素是片名/演員/導(dǎo)演這三個(gè)中的一個(gè)，可選的就較多，如影片類型、上映時(shí)間等。轉(zhuǎn)換為表格示意圖：業(yè)務(wù)名稱音視頻必須片名/演員/導(dǎo)演可選影片類型/上映時(shí)間圖2業(yè)務(wù)關(guān)鍵字提取模型業(yè)務(wù)關(guān)鍵詞提取模型，以配置文件的形式進(jìn)行管理。在滿足靈活性的情況下,業(yè)務(wù)的增加對(duì)于系統(tǒng)不構(gòu)成較大的改動(dòng)4業(yè)務(wù)分類與關(guān)鍵字提取的實(shí)現(xiàn)4.1定制中文信息抽取系統(tǒng)由上一章可知，本文所進(jìn)行的業(yè)務(wù)分類與關(guān)鍵字提取實(shí)質(zhì)上是根據(jù)業(yè)務(wù)需要對(duì)自然語言進(jìn)行的信息抽取。因此，本文在開源的 GATE匡架下，進(jìn)行二次開發(fā)定制了一個(gè)中文信息抽取系統(tǒng)。該系統(tǒng)由各種與語言處理有關(guān)的組件組成， 依據(jù)功能的不同可劃分為以下兩大類：LR（LanguageResources，語言組件）：指數(shù)據(jù)資源，包括詞典、語料庫及本體等。PR（ProcessingResources，處理組件）：包括各種算法、翻譯器、解析器和生成器等。這些組件以JavaBeans的形式實(shí)現(xiàn)，使用了MVC的設(shè)計(jì)模式，并提供了供外部調(diào)用的API，能夠方便它與其他系統(tǒng)及處理模塊（如分詞模塊、語料庫和規(guī)則庫等）進(jìn)行集成與通訊。該系統(tǒng)的數(shù)據(jù)存儲(chǔ)有兩種機(jī)制：一是利用關(guān)系型數(shù)據(jù)庫（如： Oracle）；二是基于文件系統(tǒng)的存儲(chǔ)，使用JAVA序列化或基于XML的內(nèi)部格式。該系統(tǒng)的總體流程圖如下所示：圖3系統(tǒng)總體流程圖4.2建立充足的中文詞表在該系統(tǒng)中要對(duì)實(shí)際領(lǐng)域進(jìn)行信息抽取，需要提供一個(gè)與實(shí)際領(lǐng)域相關(guān)的大且全的專業(yè)詞表庫。以“我想看XXX的電影”為例，要查詢的主要內(nèi)容為電影，與電影有關(guān)的最可能是導(dǎo)演、演員與片名。因此需要建立一個(gè)電影名稱詞表庫，一個(gè)導(dǎo)演姓名詞表庫和一個(gè)演員姓名詞表庫，如下圖所示：圖圖4電影名稱詞表庫(movie_name.lst)List蹴 嘟(?r側(cè)酹柳aim噥ValueSate襁IELoo睥JW7tmLookupDR2NK「拠sttpiH聰艙wadorld■MettorMe「BrasfrmLoo恤masmuseimeM”fmcfnusteLookupmm(r'jsicjirgeiihislingerLoolw呱2MnintelstMr砸酈虺LookipIMI頷Jrnomu肋OI0EIMialhianieIWmmLootiV'們烈■:fc邀汨sifwbpaabLoomrs.)efaW切制LmMsifim擔(dān)isisub.mLxfcwiukN■Sift(祗■lookupIT暢腳List-阪Wst■們lY-SITS底沖如乳』-_LootifMWsi-LoohpDB3Uptadstbx卸WZiHSi^rairsJslKMtoeLookuprList削Eltor曲卿加型i:n朋恤MifdcfeL湘暢DdOa) 1talopa&Ss?匾即SittooWgnstLooLp劉Ttatoifeit■twie眥〔LooM丁網(wǎng)一紅Owmwe.KIS… i—KdChvloplwWeeksmrmeJst■她徹Fat伽炯対SrusdaneL&lp恥&M臨忖謝曲rtt砌irt唱frufnberLookupcm圖lift |IMpDaMBatesse^a(to.lstfefidfcaiaLactofMupBdlbdd |晰al』協(xié)曲LooLpDmE沁刪teial制ELooLpDouglassjffiMAitumtef.s!■■*Actanre訕wbe(■■?■Lw即DROR |stfKer^opsedaIMp加ItafcthtesiffxjrttJsl$血』痂IMfMCIsiffxmo;fe.l?tIMp昭DetaSlfflJUSLSllw即pralOerRafSllffXjg潞■s.fi浙？*LookupHa(.jeoYiisoffxtJst血』1L咖和hw |SIftJffl呦ttlstLOOtlj刪仙帥isulfo蝴tek!■sifmther |LwLpJorjfflkIhcsllstftIMp鋼ITOSldftAkrsLtw即Lan翩laiu側(cè)fal |Lookup腑LfW圖5電影導(dǎo)演詞表庫(movie_director.lst)

LS!M： Major加LawAwatortjfeVslueWeLookup浪M擁a.「am朮總帕pmteeJM.SI^meLo(Wnxh'iejcttto韌CfLookupmuro』酬listLookif)ffmlanumwIB弊si#mc諦融M■ V帥usic為咽她伽附IstakerLookVsaialaM■Maiteraladcr■Lookyp—狗 1痂』曲dstLookupwAwnALookwsin咒臟ir制壯曲衲砸■■■■■■Lookifi1oiiMcdcpa^ia血卿幗a加V^jeraalstsufijemLookyp黠 1siraiiwfeH5fXWL?W呃恥ink曲IW-她■■術(shù)m覦tt■血seraiLookupmsfnLookvWsix曲enlistLmWivtalsl酬atfittNameLnkw瓠 1jh■圖6電影演員詞表庫(movie_actor.lst)

由于自然語言往往包含后前導(dǎo)語，如“我想”、“能不能”、“是不是”等在一句話的最前面引發(fā)后續(xù)動(dòng)作的導(dǎo)入語，同時(shí)，引發(fā)查找電影的動(dòng)作也應(yīng)考慮在內(nèi)（如“看”、“播放”、“來一段”等），這樣才能不突兀地引入后面想查找的內(nèi)容，符合中文的語言習(xí)慣。由于前導(dǎo)語是中文查詢的共通語，而查找電影的動(dòng)作具有局限性，使用范圍不大。因此，為最大限度與自然語言匹配，也為使建立的詞表庫能有廣闊的使用范圍，不至于僅針對(duì)某一類型使用，將前導(dǎo)語和引發(fā)查找電影動(dòng)作的詞語分別建成單獨(dú)的詞表庫，如下圖所示：Listname甌常MnorL^guajeMioteinnVpe恤MateMsLookupSencydopaediaL咖gamelstLCMip*iroviefKtaLCXXUPmck'i&jiectof.stfdlEOOfL咖movie.rane.lslstrove和ameLtXXlJp戦mcnwlslftlUK^musicNanieL（XXlJpW-Tmusi〔Eiw叨別ftnusic熬r回Lookup9nunberHWinterJMQJP職蚩orzfodslprefix■㈣Ml5aial.aAr.htftelalft?ia.a3o,翻saialjfiaMIserialftifeoorLooiw3?gl制MfnaireLKXUPsufixchannelWirumteldsulfetfiarinelwithnimber■"""■1■■■■LOMJPsuljTydo渕iafetLOOUlp3Ufixgereraj..s1LtXXUpa1suffis.mciie1st:ufKmo/eL咖suFi）（musiclstLoobjp■suFi）（seial.lst亦）囲曲LlXXlJp顯suTiH/fctsufixj/Lookup5uFi）t^alheffflirfenLl5lsufixwta.oonfertLookupt5ufir^athef.lst3Lfw^alh?fMtHost1stKfftHcstLnh|）^nanelst腳ftNameLookupurtJstLookup尊

圖7前導(dǎo)語詞表庫(prefix.lst)LidnameUajcryinor伽彌陰Ar也枷椎Valueacl3dorj$tactactorjdionLookup*?-TadurllstsethiNBeun■■Lock?HMg即叱恂口毗服actLodapWaclQi訕■artdirectLoolap如\—~adjrd.enc/dopaedaJstactIrwl.encydopaedaLookup阿adH&itStact3(MDolupmiadIstealst*actIstaiLoduprnaclo^naop.stactopep_aopLockup■■?-Taclcpen3anie,lstado肌gameLockupacl.swicli^arrel.ls:actW.chanrelLWaadLodapacl慚廿慟也1st■■actMmovigLockupiact1呱tj臉Lockupapj.ls綁pluolapcbannel.lslfthnnel血pJ加皿忸曲khnaLockupcity.wrtdJstSwddLockupdalelstffdatEfflaleLodup輔enxcpa?dia?isftiameLochipgameJstLochpncvieador.lslLockLipI-?mrtyfecttSlffntKieffllrecitjDokupmovieramelst■血p 1■—(nisicnsn&.aSnusi:s?哋meLochip莒ISrxicftinjerLodmp*11

圖8查看電影動(dòng)作詞表庫(act_watch_movie.lst)在中文里查詢某個(gè)類別時(shí)需要有與類型匹配的后綴詞，此外，中文里常常在句末以語氣助詞作為結(jié)束，考慮到靈活性及通用型，將與查詢類別有關(guān)的后綴詞和通用的結(jié)束語氣助詞分別建表，如下圖所示:Listme1啊UinorLanguageAnnotatorValueMtMatertateLwLp如淌paefijm曲財(cái)eLootupjaneJi血郵肚丿LmoviejclolstMieMrLoo^ip眈Lls(柿能軸憾rLookupnwhamells?tHML?tjp片mistnameJstAnisic^iiEfflaneLoo郵機(jī)$ICfcirjerLxfejpnumtedst訓(xùn)nteLoobjppretest熾LoomseML咖fitterialSsenal抽Loo他3erialdiMr.lSSenalLookupseriaLm1sttotalhameLoo郵腫訓(xùn)和陽Nlinu血隕$血1恤恥＜皿悔Loohp豹L盹如卿那sisjftxerdc['K(la姫HIsufejene^JsLoo郵3uf?ielstLoodpsufotMlsl■sftimric■L00M)■1■rSLrssrial.stsift.BalLootup血tv」stLwtip膻悄jsnfeMlsl防二corrertLoo肺LootupW7d.isw-ftMMLootupfr.ianeJsl測血加urllstLootipr圖圖9查看電影后綴詞表庫(suffix_movie.lst)MosWale槪BLoo加WosaedaLoo即gareJstinffl^adorJstfrmieffiorL?5fflD'jediTeaoLst斗meLoo即mrameJE■ftianeLtocpnwjia帕y捫蚯bootupffljsicjngfflst和icfsrgerLoo他iwtaJsltaberLookup価血他serialactors■Rsridferalador■Lt?M餌;al』『疝屈Mpaftr阿smLnam曲ftBmeLookuplift九帕肋nntelst---.5UffiK.ctanrel.<r(imb8f-(g疝1更幽漁stsuft醐刪b血他Sllffixjtell.slsifiKjenedLMtjpSfflnft'ISlStsflimie疝m血st5ifi?ic血他siffls.serali汕iseiial曲戲川SLfiXtVLookupllfijE腳口)「帆忖sulBjc.ffltefffliifeiilLoo即SlfiK劇補(bǔ)1』■LtocpN皿si血即HamtfctHb/LOOtJfl毗tLargu3ge剛曲：nw圖圖10通用結(jié)束語氣助詞(sufix_general.lst)4.3用JAPE創(chuàng)建中文規(guī)則，以提高識(shí)別準(zhǔn)確率仍然以“我想看XXX的電影”為例，對(duì)于電影的查詢，針對(duì)前面所建立的詞表庫，需要對(duì)電影名稱、導(dǎo)演和演員的匹配。因此，在創(chuàng)建規(guī)則時(shí)，需要對(duì)這三項(xiàng)分別建立規(guī)則。本文采用正則表達(dá)時(shí)，以靈活地處理文本的匹配，建立的規(guī)則如下：Rule-rnc/ie.'A(i'LtK>\up.majorType=='pi-I，'((LtxjKup.majorType==acr,LooKup.minorType=="wstGti_moYie"})?(Lookupmajorlype==斥rri<xiR.Lookup.minofType==]:;name:(Lookup.majorType==uLrrkjnoTiE：?({LookupmajorType==suliK.Qeneral-])?)—REF圖11匹配電影名的規(guī)則Rule:mavie_with_director(.Lookup，majorType=--^fix'■?i<Lookup,majorType=="acr,Lookup.minor!ype=="^Qtch_movieT})?{{LookupmajorType=="pwLoolcup.minarType==*#diredor*J)director({Lookup.majarType=="acr,LooKup.minorType==drect'j)?((Laoti*)ma)ofType='Snnovic*'1Loolajp.mirrorType=="flnamel)?:Lookup.majorType==sufKm?ie:(lookup.majorType==Biiffix_g€ne"al})*?)■movie"REF圖12匹配導(dǎo)演的規(guī)則Rule,movie_witn_3ctor(:'Lcrokup.majorType-"prefiZ]?({Lookup.majorType==act.LookupminorType==^atcli_mc^{{Lookup＞.majorType=="#movie'1Lookup,minofTypG—factor}}actori'Lcx＞kup.majorType=="sli^K_mcyie"}?賈LookupmajorType==suffix_gereral^)?):movie?＞REP圖13匹配演員的規(guī)則以匹配演員的規(guī)則為例做說明，該規(guī)則的名稱為：movie_with_actor，該規(guī)則分為左右兩部分，左邊部分是匹配的規(guī)則，此部分以正則表達(dá)式進(jìn)行標(biāo)示，右邊部分為匹配后應(yīng)進(jìn)行的操作。在該規(guī)則中，匹配的順序是：前導(dǎo)語出現(xiàn) 0次或1次-＞查看電影的動(dòng)作出現(xiàn)0次或1次-＞演員出現(xiàn)1次-＞查看電影后綴詞出現(xiàn)0次或1次-＞通用結(jié)束語氣助詞0次或1次。4.4PR的實(shí)現(xiàn)建立繼承AbstractprocessingResourc髯實(shí)現(xiàn)ProcessingResoure接口的子類。每個(gè)PR都具有初始化定制的中文信息抽取系統(tǒng)和執(zhí)行兩個(gè)步驟。在執(zhí)行步驟中，除進(jìn)行抽取動(dòng)作外，還要計(jì)算匹配精度。所有 PR均采用管道的方式組織，更換或修改其中某一PR時(shí)不會(huì)對(duì)系統(tǒng)的整體產(chǎn)生影響，這樣便于系統(tǒng)升級(jí)與模塊復(fù)用。4.4Creole.xml的書寫Creole.xml文件對(duì)系統(tǒng)中需要實(shí)現(xiàn)的PR進(jìn)行定義與組織，PR作為資源，可以在Creole.xml中定義它的名字、實(shí)現(xiàn)類名、參數(shù)與注釋等。系統(tǒng)在通過管道調(diào)用PR時(shí)，會(huì)首先讀入Creole.xml文件，然后獲取對(duì)每一PR的描述。例如本文中的BWPGazetteer資源，其Creole.xm文件配置如下：匸二亡,師F駝船二t盟?：二近；:EViFSazetzeer,jar<ZJAR>.lAS3j；b>rp.ga^-e.gazett-aez.BWP!zazette^z</"J_^^<?C']<Z?T>ABW?Gaz±tteer,</C2mM7><PA5JC'IE7ERNALFgunwt;”RUNTIME-IRtrus*COMMEtrr?"ThedocLmaattotfi .Doi：iiiLe!at</PflJt2tMETEP><PARflMEIERHWE^"annotationSetManeffROHTIME="tzueirCOKMETT=pTfifa^ncta:ions±trob±L5Sdfort?j￡ ￡jjn^:etiaits"OPTIONAZ-^-rce iva,lang.String</? 工二Ea<PAtAl-IETERyJA?<E=,rj=z=zttra二orn0PII0nAL=，r：Jue,r>java.la^g.SEnng</FAAAMETER><PA7^1E7ERNAiiATi址占盹”DEFAULT,,Iist5rdefF，coMMEjn=,frie狂竝t?t旅filerit^JiscoflistsIr5UETiXES=,,dsri>?7RL<■■'空~Z~.><PA?A1'1E：EEDLFAJLI=friJrr-￡rrCOr2-fEirT=,rri5三加;注丄叱廿梵dfor育北左丁thed5finiti-3i￡HNAME=ir±nsodinj'