初等數(shù)學(xué)問題知識圖譜的半自動(dòng)構(gòu)建技術(shù)研究及實(shí)現(xiàn)

1、電子科技大學(xué)UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA碩士學(xué)位論文MASTER THESIS論文題 目初等數(shù)學(xué)問題矢口識圖譜的半自動(dòng)構(gòu)建技術(shù)研究及實(shí)現(xiàn)學(xué)科專業(yè)學(xué) 號201621060136作者姓名段帥陽指導(dǎo)教師張景中教授分類號密UDC 注學(xué)位論文初等數(shù)學(xué)問題知識圖譜的 半自動(dòng)構(gòu)建技術(shù)研究及實(shí)現(xiàn)（題名和副題名）段帥陽（作者姓名）指導(dǎo)教師張景中 教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請學(xué)位級別碩士學(xué)科專業(yè)計(jì)算機(jī)科學(xué)與技術(shù)提交論文日期2019.3.22論文答辯日期2019524學(xué)位授予單位和日期電子科技大學(xué) 2019 年

2、6月答辯委員會(huì)主席評閱人 注1：注明國際十進(jìn)分類法UDC的類號Research and Implementation of Semi-automatic Construction Technology of Knowledge Graph in Elementary Mathematics ProblemsAMaster Thesis Submitted toUniversity of Electronic Science and Technology of ChinaDiscipline:Computer Science and TechnologyAuthor:ShuaiyangDuanS

3、upervisor:Puof. JingzhongZhangSchool:School of Computer Science And Engineering(School of Cybersecurity)獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研兗工作 及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方 外，論文中不包含其他人巳經(jīng)發(fā)表或撰寫過的研究成果，也不包含為 獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證”而使用誼的材r|., 1 我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的 說明并表示謝意。作者簽名：帥如H期：年日論文使用授權(quán)本學(xué)位論文作者完全

4、了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文 的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤， 允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全L或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描 等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽名：飽 哺 抻導(dǎo)師簽名： 森日期：XI，年DjrjJ日摘要隨著互聯(lián)網(wǎng)進(jìn)入一個(gè)高速發(fā)展期，人們的衣、食、住、行等各個(gè)方面都發(fā)生 了日新月異的變化，教育行業(yè)也逐步從傳統(tǒng)的機(jī)械化教育方式到現(xiàn)代的智能化教 育方式轉(zhuǎn)變。知識圖譜是大數(shù)據(jù)時(shí)代的產(chǎn)物，不僅可以方便的查看學(xué)科知識點(diǎn)的 結(jié)構(gòu)關(guān)系，而且可以為自然語言理

5、解提供可視化的概念一一關(guān)系表示及深度語義 推理。因此，構(gòu)建初等數(shù)學(xué)知識圖譜，引導(dǎo)學(xué)生自主學(xué)習(xí)、充分發(fā)揮主觀能動(dòng)性 具有重要的理論意義和實(shí)際應(yīng)用價(jià)值。本文在研究分析初等數(shù)學(xué)學(xué)科知識特點(diǎn)的基礎(chǔ)上，提出了一種基于核心概念 和關(guān)系的初等數(shù)學(xué)知識圖譜半自動(dòng)構(gòu)建方法，主要研究內(nèi)容如下：通過對通用領(lǐng)域自然語言處理和知識表示方法的分析和研究，提出了面向數(shù) 學(xué)領(lǐng)域的自然語言處理模型和知識表示方法。按照數(shù)學(xué)知識使用場景的不同，把 數(shù)學(xué)學(xué)科知識分為幾何、代數(shù)、概率統(tǒng)計(jì)和文字題四大類，使用支持向量機(jī)實(shí)現(xiàn) 初等數(shù)學(xué)問題的場景分類，降低了關(guān)系抽取任務(wù)的復(fù)雜度，便于知識點(diǎn)的模塊化 管理。使用模式匹配、句法分析和深度學(xué)習(xí)方法

6、進(jìn)行關(guān)系抽取，同時(shí)融合依存句 法分析和TextRank算法，提出了一種基于關(guān)鍵詞定位的初等數(shù)學(xué)文本關(guān)系自動(dòng)抽 取方法，實(shí)現(xiàn)了基于核心概念和關(guān)系的初等數(shù)學(xué)知識圖譜構(gòu)建。手工構(gòu)建的初等 數(shù)學(xué)核心概念和關(guān)系663個(gè)，通過本文的方法自動(dòng)抽取出856個(gè)實(shí)體和22578個(gè) 三元組關(guān)系，豐富和完善了初等數(shù)學(xué)知識圖譜。最后使用構(gòu)建的數(shù)學(xué)知識圖譜輔助進(jìn)行初等數(shù)學(xué)題意理解，通過對題意理解 結(jié)果的分析表明，建立的知識圖譜可以提高數(shù)學(xué)題意理解的通過率，具有較好的 使用價(jià)值。關(guān)鍵詞：初等數(shù)學(xué)，自然語言處理，知識表示，信息抽取，知識圖譜ABSTRACTAs the Internet enters a period of

7、rapid development, peoples clothing, food, housing, travel and other aspects have undergone rapid changes, and the education industry has gradually changed from traditional mechanized education methods to modern intelligent education methods. Knowledge Graph is the product of the era of big data. It

8、 not only can conveniently view the structural relationship of subject knowledge points, but also provide a visual concept for natural language understanding - relational representation and deep semantic reasoning. Therefore, it is of great theoretical significance and practical application value to

9、 construct the elementary mathematics Knowledge Graph and guide students to learn independently and give full play to subjective initiative.Based on the analysis of the characteristics of the knowledge of elementary mathematics, this thesis proposes a semi-automatic construction method of elementary

10、 mathematics Knowledge Graph based on core concepts and relationships. The main research contents are as follows:Through the analysis and research of natural language processing and knowledge representation methods in the general domain, the natural language processing model and knowledge representa

11、tion method oriented to mathematics are proposed. According to the different use scenarios of mathematics, the mathematics subject knowledge is divided into four categories: geometry, algebra, probability statistics and text questions. The support vector machine is used to realize the classification

12、 of the scenes of the elementary mathematics, which reduces the complexity of the relationship extraction task and facilitates the modular management of knowledge points. Using pattern matching, syntactic analysis and deep learning methods for relation extraction, and fusion dependent syntax analysi

13、s and TextRank algorithm, an automatic extraction method of elementary mathematical text relations based on keyword localization is proposed, which realizes the construction of elementary mathematics knowledge graph based on core concepts and relationships. The core concepts and relationships of ele

14、mentary mathematics constructed by hand are 663. The method of this thesis automatically extracts 856 entities and 22578 triad relations, which enriches and perfects the elementary mathematics Knowledge Graph.Finally, using the constructed mathematical Knowledge Graph to assist the understanding of

15、elementary mathematics, through the analysis of the results of the meaning of the problem, the established mathematical Knowledge Graph can improve the pass rate of the understanding of mathematical meaning, and has a good use value.Keywords: Elementary Mathematics, Natural Language Processing, Know

16、ledge Representation, Information Extraction, Knowledge Graph目錄 TOC o 1-5 h z HYPERLINK l bookmark46 o Current Document 第一章緒論1 HYPERLINK l bookmark49 o Current Document 1.1課題研究背景和意義1 HYPERLINK l bookmark52 o Current Document 1.2國內(nèi)外研究現(xiàn)狀1 HYPERLINK l bookmark55 o Current Document 1.2.1自然語言處理國內(nèi)外研究現(xiàn)狀1 H

17、YPERLINK l bookmark58 o Current Document 1.2.2知識圖譜國內(nèi)外研究現(xiàn)狀3 HYPERLINK l bookmark61 o Current Document 1.3論文內(nèi)容和結(jié)構(gòu)安排5 HYPERLINK l bookmark64 o Current Document 第二章相關(guān)理論與技術(shù)7 HYPERLINK l bookmark67 o Current Document 2.1自然語言處理7 HYPERLINK l bookmark70 o Current Document 2.1.1中文分詞7 HYPERLINK l bookmark73 o

18、Current Document 2.1.2詞性標(biāo)注7 HYPERLINK l bookmark76 o Current Document 2.1.3命名實(shí)體識別7 HYPERLINK l bookmark79 o Current Document 2.1.4指代消解7 HYPERLINK l bookmark82 o Current Document 2.2無向圖模型和神經(jīng)網(wǎng)絡(luò)8 HYPERLINK l bookmark85 o Current Document 2.2.1條件隨機(jī)場8 HYPERLINK l bookmark88 o Current Document 2.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)

19、8 HYPERLINK l bookmark94 o Current Document 2.2.3神經(jīng)張量網(wǎng)絡(luò)10 HYPERLINK l bookmark97 o Current Document 2.3詞嵌入11 HYPERLINK l bookmark100 o Current Document One-Hot11 HYPERLINK l bookmark104 o Current Document Word2vec11 HYPERLINK l bookmark110 o Current Document Glove13 HYPERLINK l bookmark114 o Current

20、 Document 2.4相似度計(jì)算13 HYPERLINK l bookmark117 o Current Document 2.4.1句子相似度13 HYPERLINK l bookmark124 o Current Document 2.4.2實(shí)體相似度15 HYPERLINK l bookmark127 o Current Document 2.5知識表示15 HYPERLINK l bookmark130 o Current Document 2.5.1謂詞邏輯表示15 HYPERLINK l bookmark133 o Current Document 2.5.2產(chǎn)生式表示15 H

21、YPERLINK l bookmark136 o Current Document 2.5.3語義網(wǎng)絡(luò)表示16 HYPERLINK l bookmark139 o Current Document 2.6知識圖譜16 HYPERLINK l bookmark142 o Current Document 2.6.1知識圖譜概述16 HYPERLINK l bookmark149 o Current Document 2.6.2知識圖譜架構(gòu)16 HYPERLINK l bookmark152 o Current Document 2.6.3知識圖譜存儲(chǔ)17 HYPERLINK l bookmark

22、155 o Current Document 2.7推理引擎18 HYPERLINK l bookmark158 o Current Document 2.8初等數(shù)學(xué)學(xué)科知識特點(diǎn)18 HYPERLINK l bookmark165 o Current Document 2.9本章小結(jié)19 HYPERLINK l bookmark168 o Current Document 第三章領(lǐng)域知識圖譜構(gòu)建方法20 HYPERLINK l bookmark171 o Current Document 3.1領(lǐng)域數(shù)據(jù)源獲取20 HYPERLINK l bookmark174 o Current Docume

23、nt 3.1.1結(jié)構(gòu)化數(shù)據(jù)20 HYPERLINK l bookmark177 o Current Document 3.1.2半結(jié)構(gòu)化數(shù)據(jù)20 HYPERLINK l bookmark180 o Current Document 3.1.3非結(jié)構(gòu)化數(shù)據(jù)21 HYPERLINK l bookmark183 o Current Document 3.2信息抽取21 HYPERLINK l bookmark189 o Current Document 3.3知識融合22 HYPERLINK l bookmark192 o Current Document 3.3.1實(shí)體對齊22 HYPERLINK

24、 l bookmark198 o Current Document 3.3.2屬性對齊22 HYPERLINK l bookmark201 o Current Document 3.3.3質(zhì)量評估23 HYPERLINK l bookmark204 o Current Document 3.4知識推理和更新23 HYPERLINK l bookmark207 o Current Document 3.4.1知識推理23 HYPERLINK l bookmark213 o Current Document 3.4.2知識更新24 HYPERLINK l bookmark216 o Current

25、 Document 3.5本章小結(jié)24第四章初等數(shù)學(xué)問題知識圖譜構(gòu)建方法研究254.1數(shù)學(xué)領(lǐng)域知識獲取25 HYPERLINK l bookmark223 o Current Document 4.2數(shù)學(xué)領(lǐng)域自然語言處理27 HYPERLINK l bookmark226 o Current Document 4.2.1中文分詞和詞性標(biāo)注27 HYPERLINK l bookmark233 o Current Document 4.2.2命名實(shí)體識別29 HYPERLINK l bookmark236 o Current Document 4.2.3指代消解32 HYPERLINK l boo

26、kmark248 o Current Document 4.2.4實(shí)體引入33 HYPERLINK l bookmark251 o Current Document 4.3數(shù)學(xué)知識表示和場景分類33 HYPERLINK l bookmark254 o Current Document 4.3.1知識表示33 HYPERLINK l bookmark259 o Current Document 4.3.2場景分類算法研究34 HYPERLINK l bookmark262 o Current Document 4.4信息抽取37 HYPERLINK l bookmark265 o Current

27、 Document 4.4.1基于模式匹配的關(guān)系抽取38 HYPERLINK l bookmark274 o Current Document 4.4.2基于依存句法分析的關(guān)系抽取40 HYPERLINK l bookmark281 o Current Document 4.4.3基于深度學(xué)習(xí)的關(guān)系抽取42 HYPERLINK l bookmark284 o Current Document 4.4.4基于關(guān)鍵詞定位的關(guān)系抽取44 HYPERLINK l bookmark287 o Current Document 4.5本章小結(jié)45 HYPERLINK l bookmark290 o Cur

28、rent Document 第五章知識圖譜構(gòu)建系統(tǒng)的實(shí)現(xiàn)和應(yīng)用46 HYPERLINK l bookmark293 o Current Document 5.1系統(tǒng)架構(gòu)46 HYPERLINK l bookmark296 o Current Document 5.2系統(tǒng)功能模塊47 HYPERLINK l bookmark299 o Current Document 5.2.1 爬蟲47 HYPERLINK l bookmark302 o Current Document 5.2.2場景分類48 HYPERLINK l bookmark305 o Current Document 5.2.3預(yù)

29、處理模塊50 HYPERLINK l bookmark312 o Current Document 5.2.4信息抽取54 HYPERLINK l bookmark319 o Current Document 5.2.5知識融合57 HYPERLINK l bookmark324 o Current Document 5.2.6知識推理58 HYPERLINK l bookmark327 o Current Document 5.3知識圖譜可視化59 HYPERLINK l bookmark330 o Current Document 5.4知識圖譜應(yīng)用61 HYPERLINK l bookm

30、ark333 o Current Document 5.4.1系統(tǒng)設(shè)計(jì)61 HYPERLINK l bookmark337 o Current Document 5.4.2系統(tǒng)實(shí)現(xiàn)62 HYPERLINK l bookmark340 o Current Document 5.5本章小結(jié)63 HYPERLINK l bookmark343 o Current Document 第六章系統(tǒng)測試與分析64 HYPERLINK l bookmark346 o Current Document 6.1系統(tǒng)測試646.1.1語料庫構(gòu)建64 HYPERLINK l bookmark354 o Current

31、 Document 6.1.2測試方法64 HYPERLINK l bookmark359 o Current Document 6.1.3測試結(jié)果65 HYPERLINK l bookmark362 o Current Document 6.2系統(tǒng)分析66 HYPERLINK l bookmark365 o Current Document 第七章工作總結(jié)與展望67 HYPERLINK l bookmark368 o Current Document 7.1工作總結(jié)67 HYPERLINK l bookmark376 o Current Document 7.2研究的不足和未來工作展望67

32、HYPERLINK l bookmark383 o Current Document 致謝69 HYPERLINK l bookmark386 o Current Document 參考文獻(xiàn)70攻讀碩士期間參與獲獎(jiǎng)情況75第一章緒論1.1課題研究背景和意義隨著移動(dòng)互聯(lián)網(wǎng)進(jìn)入一個(gè)高速發(fā)展期，人們的服裝、飲食、住房、出行等各 個(gè)方面都發(fā)生了日新月異的變化，不僅如此，教育行業(yè)也逐步從傳統(tǒng)的機(jī)械化教 育方式到現(xiàn)代的智能化教育方式轉(zhuǎn)變。中共中央國務(wù)院在1995年頒布了關(guān)于加 速科學(xué)技術(shù)進(jìn)步的決定，該決定首次提出“科教興國”戰(zhàn)略，把加強(qiáng)國民教育、 提升國民文化素質(zhì)作為社會(huì)主義經(jīng)濟(jì)發(fā)展的首要任務(wù)和目標(biāo)。無論

33、是國家層面， 還是社會(huì)層面，教育都有著舉足輕重的地位。近幾年各種各樣的智能化教育軟件和平臺(tái)如雨后春筍般層出不窮，使用移動(dòng)互 聯(lián)網(wǎng)和人工智能技術(shù)自動(dòng)的批改學(xué)生作業(yè)，精確的定位薄弱環(huán)節(jié)，不僅可以減輕 老師的負(fù)擔(dān)，而且，更為重要的是可以提升學(xué)生的學(xué)習(xí)效率，真正的實(shí)現(xiàn)教育現(xiàn) 代化。但是，目前大多數(shù)的智能教育平臺(tái)依賴于大量的人工勞動(dòng)，不僅耗費(fèi)精力， 而且存在人為主觀因素的影響。因此如何教會(huì)計(jì)算機(jī)去閱讀并理解知識，實(shí)現(xiàn)教 育資源的自動(dòng)化整合和管理不僅可以避免重復(fù)性的工作，而且可以解放人力資源， 提高工作效率。知識圖譜作為人工智能領(lǐng)域的一個(gè)重要分支，它是大數(shù)據(jù)時(shí)代發(fā)展的必然結(jié) 果。初等數(shù)學(xué)作為數(shù)學(xué)領(lǐng)域一個(gè)基

34、礎(chǔ)而又重要的組成部分，是人類打開知識大門， 探索宇宙奧秘的一把“金鑰匙”。因此，構(gòu)建初等數(shù)學(xué)問題知識圖譜，不僅可以 方便的查看學(xué)科知識點(diǎn)之間的結(jié)構(gòu)關(guān)系，有助于形成嚴(yán)密的數(shù)學(xué)邏輯思維；而且 更重要的是可以提高學(xué)習(xí)者的學(xué)習(xí)效率，它是真正實(shí)現(xiàn)教育現(xiàn)代化的基石，具有 重要的理論意義和實(shí)際使用價(jià)值。1.2國內(nèi)外研究現(xiàn)狀1.2.1自然語言處理國內(nèi)外研究現(xiàn)狀自然語言處理(Nature Language Process, NLP)作為人工智能研究方向的一 個(gè)重要分支，它主要研究人與計(jì)算機(jī)進(jìn)行交互通信的基礎(chǔ)方法和理論。自然語言 處理是跨多個(gè)領(lǐng)域的混合學(xué)科I,包括了計(jì)算機(jī)科學(xué)(Computer Science)、

35、語言 學(xué)(Linguistics)和數(shù)學(xué)(Mathematics)等。自然語言處理的主要研究內(nèi)容包括兩個(gè)基本類別：基礎(chǔ)技術(shù)研究和應(yīng)用創(chuàng)新 研究?；A(chǔ)技術(shù)研究的主要內(nèi)容有命名實(shí)體識別、詞性標(biāo)注、指代消解、依存句 法分析等?；A(chǔ)技術(shù)的研究逐步從詞語到句子，再從句子到語義的方向發(fā)展，自 然語言基礎(chǔ)技術(shù)發(fā)展方向如圖1-1所示。應(yīng)用創(chuàng)新研究主要涉及自然語言處理在日 常生活中的應(yīng)用，例如機(jī)器翻譯、聊天機(jī)器人、語音助手和信息檢索等。詞法分析J句法分析J語義理解4智能化應(yīng)用圖1-1自然語言處理基礎(chǔ)技術(shù)發(fā)展方向Markov （馬爾科夫）在1913年提出了一種基于統(tǒng)計(jì)方法的馬爾科夫隨機(jī)過程 和馬爾科夫模型3o 1

36、948年Shannon首次把基于概率統(tǒng)計(jì)的馬爾科夫模型應(yīng)用于 形式語言自動(dòng)機(jī)。1956年Chomsky （喬姆斯基）用符號序列來表示語言模型囹， 建立了一套關(guān)于語法的有限狀態(tài)自動(dòng)機(jī)模型，這是人類史上第一次用統(tǒng)一的數(shù)學(xué) 模型來表示自然語言和形式語言。深度學(xué)習(xí)最開始是在圖像識別和語音識別領(lǐng)域進(jìn)行應(yīng)用，直到2008年NLP 研究者開始把深度學(xué)習(xí)應(yīng)用到自然語言處理領(lǐng)域。隨著計(jì)算能力和軟硬件綜合性 能的提升，深度學(xué)習(xí)技術(shù)也是不斷推陳出新，神經(jīng)網(wǎng)絡(luò)愈發(fā)成為“一把利器”， 自然語言處理的研究也取得了許多突破性的進(jìn)展。情感分析、機(jī)器翻譯、問答機(jī) 器人等領(lǐng)域都取得了快速發(fā)展。圖1-2為自然語言處理研究方法的發(fā)展

37、歷程。圖1-2自然語言處理研究方法發(fā)展歷程百度是國內(nèi)最先布局人工智能領(lǐng)域的科技公司之一，同時(shí)自然語言處理也是 百度最先進(jìn)行研究的一個(gè)方向，它的研究內(nèi)容主要包括智能對話、機(jī)器閱讀、智 能寫作、機(jī)器翻譯、語義分析、自動(dòng)駕駛等。百度翻譯目前在全球范圍內(nèi)支持28種 語言，涵蓋756種翻譯方向，同時(shí)支持文本、語音、圖像等翻譯功能，并提供了 精準(zhǔn)的人工翻譯服務(wù)，可以滿足不同場景下的不同客戶的翻譯需求。機(jī)器閱讀通 過對文章的篇章結(jié)構(gòu)分析、句法語義分析、內(nèi)容抽取、情感分析等技術(shù)手段實(shí)現(xiàn) 了文本內(nèi)容的理解。利用百度搜索引擎的天然優(yōu)勢，百度可以獲取大量的語料數(shù) 據(jù)，這使得百度的自然語言處理技術(shù)得到很大的提升，機(jī)器

38、閱讀技術(shù)巳經(jīng)在百度 搜索、百度糯米、資訊流等產(chǎn)品中實(shí)現(xiàn)應(yīng)用。阿里巴巴的自然語言處理研究主要是為其自身的產(chǎn)品服務(wù)，通過構(gòu)建電子商 務(wù)領(lǐng)域的知識圖譜實(shí)現(xiàn)用戶興趣挖掘和智能導(dǎo)購，通過打造智能客服機(jī)器人可以 很大程度上減輕人工客服的工作量，在需要人工介入的時(shí)候才使用人力資源。2017 年初，阿里巴巴正式推出自己的神經(jīng)網(wǎng)絡(luò)翻譯(Neural Machine Translation, NMT) 系統(tǒng)，可以提供常用的商品信息翻譯，人名、地名翻譯和即時(shí)通訊翻譯等功能， 同時(shí)支持中文、英文、荷蘭語等多種語種，為阿里巴巴的貿(mào)易全球化打下了良好 的基礎(chǔ)。騰訊人工智能實(shí)驗(yàn)室(AILab)是騰訊的最強(qiáng)大的大腦，它的主要

39、研究內(nèi)容包 括自然語言處理、語音識別、計(jì)算機(jī)視覺等。它自主研發(fā)的中文自然語言處理平 臺(tái)支持分布式和并行計(jì)算，同時(shí)提供提供爬蟲、信息抽取、智能推薦、數(shù)據(jù)挖據(jù) 等功能。2017年11月騰訊的實(shí)時(shí)對話翻譯軟件翻譯君上線同聲傳譯功能， 真正實(shí)現(xiàn)了用戶邊說邊翻譯的需求，支持中文、英文等多種語言。Google作為一個(gè)以搜索為核心的公司，自然語言處理對于Google的重要性就 不言而喻，所以Google也是全球最早開始進(jìn)行自然語言處理技術(shù)研究的公司之一。 Google對自然語言處理的研究主要包括知識圖譜、機(jī)器翻譯等方面，其研究成果 已經(jīng)在搜索引擎、廣告投放等領(lǐng)域大放異彩。文獻(xiàn)5提出一種專門針對特定領(lǐng)域的自然

40、語言處理研究方法，可以在特定的 語境下使用自己定義好的領(lǐng)域詞典和規(guī)則來實(shí)現(xiàn)特定領(lǐng)域的自然語言文本的分析, 從而實(shí)現(xiàn)特定領(lǐng)域的文本處理和理解。文獻(xiàn)6把自然語言處理技術(shù)和WEB數(shù)據(jù)挖 掘結(jié)合起來，可以根絕用戶的特殊輸入進(jìn)行特定的搜索。文獻(xiàn)7指出通用的自然 語言處理技術(shù)不是很成熟，所以從特定領(lǐng)域的自然語言處理和機(jī)器閱讀技術(shù)角度 出發(fā)，把自然語言處理和語音合成技術(shù)結(jié)合提出了一種新的用于特定領(lǐng)域的自然 語言處理技術(shù)，可以在很大程度上提升人機(jī)交互的效果。1.2.2知識圖譜國內(nèi)外研究現(xiàn)狀早期的知識圖譜一般是指Google為了增強(qiáng)其搜索能力所建立的知識庫，現(xiàn)在 的知識圖譜普泛指各種各樣的知識庫。廣義上來說，知

41、識圖譜是用來描述現(xiàn)實(shí)世 界中存在的各種物體以及物體之間的關(guān)系，這些種類繁多的物體以及物體之間的 關(guān)系構(gòu)成了 一個(gè)大型的網(wǎng)狀結(jié)構(gòu)。知識圖譜是大數(shù)據(jù)人工智能時(shí)代發(fā)展的必然趨勢，但是知識圖譜的發(fā)展不僅 僅是依賴于計(jì)算機(jī)和人工智能領(lǐng)域的發(fā)展，同時(shí)在很大程度上又依賴于其他的研 究領(lǐng)域，比如語言學(xué)、信息抽取、語義網(wǎng)和專家系統(tǒng)等，知識圖譜不是一門單一 的學(xué)科，它是一門涵蓋范圍非常廣泛的跨領(lǐng)域交叉學(xué)科。知識圖譜作為人工智能領(lǐng)域的重要研究方向之一，它和自然語言處理是相輔 相成的。知識圖譜技術(shù)涉及到了自然語言處理中的各項(xiàng)技術(shù)，同時(shí)，知識圖譜的 研究也促進(jìn)了自然語言處理技術(shù)的發(fā)展，尤其是基于知識圖譜的指代消解和依存

42、 句法關(guān)系分析等技術(shù)也得以長遠(yuǎn)發(fā)展。1984年Douglas Lenat （道格拉斯 勒納特）領(lǐng)導(dǎo)的項(xiàng)目組收集了生活中常見的 50萬條概念的500萬條常識知識，并將其編碼集成到一個(gè)全面的本體知識庫Cyc 8o 1985年，普林斯頓大學(xué)認(rèn)識科學(xué)實(shí)驗(yàn)室建立了英語字典WordNet9,目的是 為現(xiàn)代計(jì)算提供可讀性較強(qiáng)的詞匯數(shù)據(jù)庫。1998年,萬維網(wǎng)聯(lián)盟的Tim Berners-Lee 首次提出語義網(wǎng)u的概念，它是一個(gè)可以根據(jù)句子語義進(jìn)行相似性判斷的智能網(wǎng) 絡(luò)，就像是一臺(tái)超級巨型計(jì)算機(jī)，存儲(chǔ)了大量的數(shù)據(jù)。語義網(wǎng)絡(luò)上連接的每一臺(tái) 電腦不僅能夠理解每一個(gè)實(shí)體的概念和意義，而且重要的是可以理解實(shí)體對之間 的

43、相互關(guān)系，具有很強(qiáng)的溝通協(xié)調(diào)能力，可以很好的實(shí)現(xiàn)計(jì)算機(jī)和人之間的無縫 對接，使人類從繁重勞動(dòng)中解放出來，造福于人們。2007年柏林自由大學(xué)和萊比 錫大學(xué)的研究人員共同發(fā)起了 DBpdia項(xiàng)目El,目的就是為了解決長期以來的語 義網(wǎng)不完善問題?？紤]到非結(jié)構(gòu)化數(shù)據(jù)使用時(shí)的麻煩和不便，維基媒體基金會(huì)在 2012年推出了 Wikidata項(xiàng)目，采用一種全新的方式和方法管理百科中的知識和 數(shù)據(jù)。自從美國谷歌（Google）公司于2012年5月推出自己的第一版知識圖譜 （Knowledge Graph）以來，工業(yè)界和學(xué)術(shù)界也相繼掀起了一股知識圖譜研究的熱 潮。各大互聯(lián)網(wǎng)公司、知名高校和研究企業(yè)都紛紛加入了

44、知識圖譜研究的行列， 它們先后推出了自己的知識圖譜產(chǎn)品。例如，百度發(fā)布了自己的知識圖譜“知 心”；搜狗在2012年11月推出了自己的知識圖譜“知立方”；2015年12 月，復(fù)旦大學(xué)的Knowledge Factory Laboratory發(fā)布了通用領(lǐng)域知識圖譜 CN-DBpedia14o隨著大數(shù)據(jù)時(shí)代的到來，尤其是人工智能的發(fā)展，知識圖譜 的研究也取得了長足的進(jìn)步和發(fā)展，現(xiàn)在已經(jīng)在個(gè)性化推薦、智能搜索、聊天機(jī) 器人等多個(gè)領(lǐng)域凸顯出自己的優(yōu)勢。垂直行業(yè)知識圖譜的構(gòu)建一般需要借助垂直領(lǐng)域的知識背景和特定的知識表 示方法。萬維網(wǎng)聯(lián)盟的醫(yī)療保健和生命科學(xué)利益集團(tuán)研究構(gòu)建了轉(zhuǎn)化醫(yī)學(xué)本體 (Transla

45、tional Medicine Ontology, TMO)15, TMO 是一個(gè)先進(jìn)的、設(shè)身處地為患者 考慮的醫(yī)療知識圖譜，它為關(guān)聯(lián)全部患者的數(shù)據(jù)提供了一個(gè)通用的框架。National Library of Medicine 研發(fā)了 統(tǒng)一的醫(yī)學(xué)語言系統(tǒng)(Unified Medical Language System, UMLS),它的初衷是建立一套統(tǒng)一的生物醫(yī)學(xué)資源詞匯表，然后為種類繁多的生 物醫(yī)學(xué)資源整合提供服務(wù)。2000年基因本體聯(lián)盟啟動(dòng)了 GO項(xiàng)目，該項(xiàng)目主要定 義了一套統(tǒng)一的生物基因詞匯集合，這些專業(yè)詞匯集合涵蓋了有機(jī)生物中的所有 基因和產(chǎn)物，極大的方便了對于生物基因方向的研究。王通

46、16等人使用有監(jiān)督的 深度學(xué)習(xí)方法構(gòu)建了威脅情報(bào)知識圖譜，可以快速準(zhǔn)確的獲取威脅情報(bào)，為減少 網(wǎng)絡(luò)威脅提供了強(qiáng)有力的保障。王仁武17等使用深度置信網(wǎng)絡(luò)實(shí)現(xiàn)了商業(yè)領(lǐng)域中 關(guān)系的自動(dòng)提取，并使用圖數(shù)據(jù)庫進(jìn)行商業(yè)知識圖譜的存儲(chǔ)，便于查看知識單元 中的關(guān)系。王曉云18等參考領(lǐng)域知識圖譜構(gòu)建方法，結(jié)合科技文獻(xiàn)的特點(diǎn)，提出 了一種實(shí)體概念抽取和關(guān)系抽取算法，建立了國防科技知識圖譜，可以很大程度 上提高科技文獻(xiàn)的使用率和便捷性。在垂直行業(yè)知識圖譜中，實(shí)體的數(shù)據(jù)模式與實(shí)體之間的關(guān)系通常都是多樣化 的，并且實(shí)體的屬性一般都具有行業(yè)意義。國內(nèi)對于知識圖譜的研究起步較晚， 目前大多集中在開放域通用知識圖譜，對于特定

47、領(lǐng)域的行業(yè)知識圖譜的研究不多， 一般集中到企業(yè)風(fēng)險(xiǎn)評估、輔助信貸審核和反欺詐等領(lǐng)域。1.3論文內(nèi)容和結(jié)構(gòu)安排本文研究初等數(shù)學(xué)問題知識圖譜的半自動(dòng)構(gòu)建技術(shù)，基于通用領(lǐng)域的自然語 言處理技術(shù)和知識圖譜構(gòu)建方法，結(jié)合初等數(shù)學(xué)學(xué)科知識特點(diǎn)，提出并實(shí)現(xiàn)了初 等數(shù)學(xué)問題知識圖譜構(gòu)建系統(tǒng)。論文內(nèi)容共分為七個(gè)章節(jié)：第一章，緒論。簡明扼要的闡述了本課題的研究背景及意義，對自然語言處 理和知識圖譜的國內(nèi)外研究現(xiàn)狀做了簡要分析介紹。第二章，相關(guān)理論和技術(shù)。將本文所用到的相關(guān)理論和技術(shù)進(jìn)行了較為全面 的介紹，主要包括通用領(lǐng)域自然語言處理技術(shù)、無向圖模型和神經(jīng)網(wǎng)絡(luò)、詞嵌入、 相似度計(jì)算、知識表示和知識圖譜的相關(guān)理論。第

48、三章，領(lǐng)域知識圖譜構(gòu)建方法。首先對比分析了領(lǐng)域知識圖譜和通用知識 圖譜的區(qū)別，然后介紹了領(lǐng)域知識圖譜構(gòu)建方法。第四章，初等數(shù)學(xué)問題知識圖譜半自動(dòng)化構(gòu)建方法研究。本章結(jié)合初等數(shù)學(xué) 學(xué)科知識特點(diǎn)，改進(jìn)了現(xiàn)有的自然語言處理模型，引入初等初學(xué)領(lǐng)域的自然語言處理模型，同時(shí)研究了數(shù)學(xué)知識表示方法、領(lǐng)域知識挖掘算法、文本信息抽取。第五章，系統(tǒng)實(shí)現(xiàn)和應(yīng)用。本章詳細(xì)介紹了知識圖譜構(gòu)建系統(tǒng)的架構(gòu)和功能 模塊，并使用圖數(shù)據(jù)庫Neo4j進(jìn)行數(shù)據(jù)可視化，最后把知識圖譜用于初等數(shù)學(xué)題 意理解，設(shè)計(jì)實(shí)現(xiàn)了基于知識圖譜的初等數(shù)學(xué)題意理解系統(tǒng)。第六章，系統(tǒng)測試和分析。通過實(shí)驗(yàn)結(jié)果分析，論證了文中方法的可行性和 有效性。第七章，

49、工作總結(jié)和展望。總結(jié)了本文的主要工作，并提出研究過程中的不 足之處，同時(shí)對后續(xù)的進(jìn)一步研究工作做出展望。第二章相關(guān)理論與技術(shù)2.1自然語言處理2.1.1中文分詞中文與英文不同，中文詞語和詞語之間沒有專門的分隔符號。中文分詞是指 把一段連續(xù)的中文文本分割成具有語言學(xué)意義的獨(dú)立詞匯。最早的分詞方法是采 用字典匹配的方式包括最大正向匹配、最大反向匹配、最大雙向匹配等RS, 直到2003年才開始采用標(biāo)注序列的方法進(jìn)行中文分詞?，F(xiàn)在深度學(xué)習(xí)成為主流, 基于深度學(xué)習(xí)的中文分詞方法也逐漸為人們所熟知。歷經(jīng)30多年的發(fā)展，中文分 詞技術(shù)已經(jīng)越來越成熟,分詞的結(jié)果也越來越準(zhǔn)確。2.1.2詞性標(biāo)注無論是中文還是英

50、文，每一個(gè)詞語都是有其詞性的。詞性標(biāo)注，顧名思義就 是給待處理文本中的詞語標(biāo)注上其對應(yīng)的詞性QI。詞性標(biāo)注在句法分析中具有很 重要的地位，同時(shí)詞性可以作為一個(gè)特征進(jìn)行其它任務(wù)的處理。詞性標(biāo)注是中文 自然語言處理中一個(gè)基礎(chǔ)而又重要的研究方向囚。2.1.3命名實(shí)體識別命名實(shí)體識別(Named Entity Recognition, NER)是自然語言處理中的一項(xiàng)基 礎(chǔ)技術(shù)研究，它是指從文本中識別出有某些實(shí)際含義的詞語，目前通用領(lǐng)域的命 名實(shí)體識別可以分為人名、地名、機(jī)構(gòu)名24三大類。命名實(shí)體識別任務(wù)目前有三種主流的處理方法：基于字典和規(guī)則的方法，基 于數(shù)理統(tǒng)計(jì)的方法和基于深度學(xué)習(xí)的方法/?；谝?guī)則

51、和字典的方法進(jìn)行命名實(shí) 體識別具有較高的準(zhǔn)確率，但同時(shí)也有較大的局限性，現(xiàn)如今基于大規(guī)模數(shù)據(jù)的 深度學(xué)習(xí)方法日趨成為時(shí)代主流。2.1.4指代消解指代是人類語言學(xué)中常用的一種手法，它廣泛的出現(xiàn)在人類的日常生活中26, 比如對話、寫作等等。指代消解一般是指使用一個(gè)代詞來表示前面已經(jīng)提及到的 元素，被指代的元素以名詞或者是主語居多。指代消解作為中文自然語言處理中 的一項(xiàng)基礎(chǔ)技術(shù)研究27,它是進(jìn)行其它自然語言處理任務(wù)的根基，只有解決了指代問題，才可以完整的提取文中的信息，進(jìn)行后續(xù)任務(wù)的處理。2.2無向圖模型和神經(jīng)網(wǎng)絡(luò)2.2.1條件隨機(jī)場條件隨機(jī)場(Conditional Random Fields,

52、CRF)是一個(gè)無向圖條件概率模型， 它表示在給定的輸入條件下對應(yīng)的輸出結(jié)果的馬爾科夫隨機(jī)場28】。條件隨機(jī)場可 以用于處理大多數(shù)的序列標(biāo)注問題四，最為常見的Word Segmentation Part of Speech Tagging和NER任務(wù)都是使用線性的序列標(biāo)注結(jié)構(gòu)，在句法分析等少數(shù)任 務(wù)中使用的是樹狀的標(biāo)注序列3,其中線性序列標(biāo)注任務(wù)使用的最多的是鏈?zhǔn)綏l 件隨機(jī)場如圖2-1所示。記觀測到的輸入序列X=XVX2,X3, , XnT , Xn ,觀測 序列對應(yīng)的標(biāo)注序列Y=YV 丫2, 丫3，, Yn_v Yn),則條件概率模型P(y|x) 的定義見式(2-1) oP(y|x)=里e%

53、*2 ajtj+k*i 6kSk公式(2-1)Z(X)其中tj是轉(zhuǎn)移特征函數(shù)，Sk是狀態(tài)特征函數(shù)，向、6k是特征函數(shù)的權(quán)重，Z(x)是 規(guī)范化因子31, z(x)的定義見式(2-2) oZ(x)= e*=iWkFk(y,x)公式(2-2)Fk(y，x)是k個(gè)時(shí)刻的特征函數(shù)的和。X=xl, x2, x3,xn圖2-1鏈?zhǔn)綏l件隨機(jī)場2.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一種具有短期1己憶能力的 神經(jīng)網(wǎng)絡(luò),RNN的輸出值不僅和當(dāng)前時(shí)刻t的輸入，而且還與t-1時(shí)刻的輸出有關(guān)， 循環(huán)神經(jīng)網(wǎng)絡(luò)的工作原理和生物神經(jīng)網(wǎng)絡(luò)更加的相似。由于可以記憶

54、上一時(shí)刻的信息，對于序列標(biāo)注類的任務(wù)RNN比傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)具有更好的效果。圖2-2 RNN網(wǎng)絡(luò)結(jié)構(gòu)圖在如圖2-2所示的循環(huán)神經(jīng)網(wǎng)絡(luò)中，U表示輸入層(Input Layer)和隱藏層 (Hidden Layer)之間的權(quán)重矩陣，W表示Hidden Layer與Hidden Layer之間的權(quán) 重矩陣，V表示Hidden Layer和輸出層(Output Layer)之間的權(quán)重矩陣。函數(shù)f(x) 表示Hidden Layer的激活函數(shù)，函數(shù)g(x)表示0utput Layer的激活函數(shù)。邛寸刻的 輸出值不僅與t時(shí)刻的輸入Xt有關(guān)，而且還和t-1時(shí)刻的隱藏層的值Si有關(guān)。t時(shí) 刻的隱藏層值和輸

55、出值分別見式(2-3)、(2-4)所示。St = f(U Xt + W St_i)公式(2-3)Ot = g(VSt)公式(2-4)LSTM雖然RNN具有一定的記憶能力，但是隨著傳播層數(shù)的增長，會(huì)存在“梯度消 失”或者是“梯度爆炸”的現(xiàn)象，導(dǎo)致RNN的“記憶能力”下降。為了彌補(bǔ)RNN 的這一不足，Hochreater和Schmidhuber在1997年提出了長短時(shí)記憶網(wǎng)絡(luò)(Long short-term memory, LSTM) , LSTM是一種特殊的RNN網(wǎng)絡(luò)，它引入了存儲(chǔ)單 元可以記憶更多的信息，從而可以更好的處理長序列標(biāo)注任務(wù)，很大程度上避免 了 Gradient Disappear

56、s 和 Gradient Explosion 情況的發(fā)生。如圖 2-3 所示為 LSTM 的 網(wǎng)絡(luò)結(jié)構(gòu)圖，由圖可知t時(shí)刻的輸入包含了三部分的內(nèi)容:t時(shí)刻的外部輸入值畚； t-1時(shí)刻的網(wǎng)絡(luò)輸出值Hi；t-1時(shí)刻的記憶單元的值確_1。其中的遺忘門f(t)、 輸入門i(t)、輸出門o(t)是三個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)。記t時(shí)刻的輸入毒可以輸入到網(wǎng)絡(luò) 中的有效信息為布，貝It時(shí)刻的網(wǎng)絡(luò)輸出值見式(2-6) o公式(2-5)以=ft * Ct_! + it * 看圖2-3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Bi-LSTM雙向 LSTM (Bi-directional Long Short-Term Memory, Bi-LST

57、M)有一個(gè)前向 的LSTM和一個(gè)后向的LSTM組成，這樣不僅可以提取到從前到后的編碼信息， 而且可以提取到從后向前的編碼信息，然后把前向的信息和后向的信息進(jìn)行拼接得到一個(gè)包含雙向信息的向量做為最終的輸出結(jié)果。.輸出.拼接.反向 LSTM.正向 LSTM.輸入圖2-4雙向LSTM2.2.3神經(jīng)張量網(wǎng)絡(luò)張量是一個(gè)數(shù)學(xué)概念，不僅可以用在數(shù)學(xué)領(lǐng)域，而且是物力力學(xué)和計(jì)算機(jī)研 究中的關(guān)鍵一環(huán)。張量是矢量的推廣，矢量可以看做一維張量，矩陣可以看做二 維的張量，矩陣數(shù)組可以看做是一個(gè)三維張量。神經(jīng)張量網(wǎng)絡(luò)(Neural Tensor Network , NTN)就是用張量來存儲(chǔ)層與層之 間的權(quán)值矩陣的神經(jīng)網(wǎng)絡(luò)

58、，進(jìn)行張量分解就可以進(jìn)行張量的壓縮，從而實(shí)現(xiàn)節(jié) 省計(jì)算機(jī)儲(chǔ)存空間、提高計(jì)算速度，更為重要的是可以建立層與層之間的多維度 的聯(lián)系，充分使用輸入的信息。文章36使用神經(jīng)張量網(wǎng)絡(luò)進(jìn)行實(shí)體之間關(guān)系置信度的評分，該模型的輸入 是三元組關(guān)系(實(shí)體一一關(guān)系一一實(shí)體，實(shí)體一一屬性一一屬性值)，輸出的是 神經(jīng)張量網(wǎng)絡(luò)對于輸入三元組的可信度評分。2.3詞嵌入使用計(jì)算機(jī)解決自然語言任務(wù)的首要問題就是解決詞語在計(jì)算機(jī)中的輸入問 題，一般有離散表示和分布式表示兩種方式。One-Hot獨(dú)熱編碼又叫一位有效編碼，首先建立一個(gè)文本詞典用來表示集合中的所有 元素，然后采用集合中詞語的順序給每一個(gè)詞匯編碼，如果當(dāng)前位置詞語存在用

59、 “1”表示，不存在則用“0”表示，這樣每個(gè)詞可以用一個(gè)N維向量表示，N表 示詞匯集合中的元素個(gè)數(shù)。表 2-1 one-hot 編碼原始文字你我他位置編碼012One-Hot 編碼1,0,00,1,00,0,1Word2vec2013年，谷歌公司開源了一款基礎(chǔ)自然語言處理工具Word2vec37,它可以把 每一個(gè)詞語映射成為固定維度的向量，近義關(guān)系詞語的詞向量之間具有很高的相 似性，有效的解決了詞語之間的語義鴻溝問題。Word2vec中實(shí)現(xiàn)了 CBOW和 Skip-Gram兩種模型，分別介紹如下：CBOW 模型連續(xù)詞袋模型(Continuous Bag-of-Words Model, CBOW

60、)是根據(jù)詞語的上下 文信息預(yù)測當(dāng)前位置詞語出現(xiàn)概率的語言模型，映射層把輸入層的上下文信息向量求和印,其中上下文信息包含詞語的數(shù)目取決于模型滑動(dòng)窗口的大小，輸出層 輸出的是當(dāng)前位置各個(gè)詞出現(xiàn)的概率，CBOW模型如圖2-5所示。輸入層映射層輸出層圖2-5 CBOW模型Skip-Gram 模型Skip-Gram模型的設(shè)計(jì)思想可以看做CBOW模型的一個(gè)逆過程,Skip-Gram是 已知當(dāng)前位置的詞語，然后預(yù)測上下文位置詞語出現(xiàn)概率的語言模型3,模型結(jié) 構(gòu)如圖2-6所示。映射層輸出層輸入層圖 2-6 Skip-Gram 模型無論是CBOW模型，還是Skip-Gram模型，都是語言模型的產(chǎn)物。在訓(xùn)練語言模