用于中文信息自動分類的知識庫的構建.doc

用于中文信息自動分類的知識庫的構建 1、前言 隨著計算機、網(wǎng)絡技術的迅速發(fā)展，為了實現(xiàn)網(wǎng)絡信息處理的智能化、自動化和精細化，以詞表、分類表、語言形式出現(xiàn)的各種情報檢索語言加快了與標記語言、超文本技術和其他軟件技術的融合，出現(xiàn)了新一代的情報檢索語言與自然語言的結合體知識組織系統(tǒng)。 知識組織系統(tǒng)是指各種對人類知識結構進行表達和有組織闡述的語義工具，主要包括分類法、主題詞表、語義網(wǎng)絡、主題圖、知識本體等。分類法和主題詞表在信息資源的加工組織中發(fā)揮著重要的作用，而語義網(wǎng)絡、主題圖、知識本體則是針對第二代語義Web提出的知識組織系統(tǒng)。 本文所討論的中國圖書館分類法（以下簡稱中圖法）知識庫也是一種知識組織系統(tǒng)，或稱為用于自動標引和分類的專家系統(tǒng)，它建立在中圖法的基礎上，通過機器統(tǒng)計歸納出眾多人工標引記錄中所凝結的標引經(jīng)驗，建立分類號、主題詞、關鍵詞之間的概念對應關系，從而實現(xiàn)對文獻的自動標引和自動分類，進而實現(xiàn)概念檢索。 2、中圖法知識庫構建的原理 分類檢索語言、主題檢索語言和自然語言是3種不同的情報語言系統(tǒng)，標識和組織方式各不相同，但在本質上是一樣的，都是一種主題概念標識系統(tǒng)，分類號、主題詞、關鍵詞都可用來表示某一文獻信息的主題概念。因此，這三者之間存在著隱含的概念對應關系，即兼容關系。 國內大多數(shù)圖書館、情報機構和信息中心所擁有的文獻數(shù)據(jù)庫中存在著大量的人工標引記錄，這些記錄中包含分類標引和主題標引（主題詞串或關鍵詞串）雙重數(shù)據(jù)。我們可以通過對這些標引數(shù)據(jù)的計算機處理，挖掘出分類號主題詞串關鍵詞串之間的概念對應關系，實現(xiàn)三者之間的兼容互換。在此基礎上，構建一個自動標引和自動分類用知識庫，實現(xiàn)中文文獻的自然語言標引、主題規(guī)范、自動分類及概念檢索。 不管是分類檢索語言還是主題檢索語言，乃至任何知識組織系統(tǒng)，都使用了分類方法。而中圖法是一個建立在知識分類基礎上、可用于信息組織的概念語義網(wǎng)絡，因此，我們選擇中圖法作為本知識庫的主干體系。 （1）中圖法是我國自編的一部大型綜合性圖書分類法，可用于圖書資料、音像資料和其他類型信息的分類標引和檢索。它在國內有著最廣泛的影響和最眾多的用戶，是早已被大家公認的“不是標準”的標準。 （2）中圖法自首次出版以來，在30多年里經(jīng)過圖書情報領域和其他各專業(yè)領域專家多次修訂改版，具有廣泛的學科覆蓋面、完善的知識組織結構，在等級體系的基礎上加入了分面組配的功能，能夠適應現(xiàn)代文獻信息分類自動化的需求。中圖法已建成了用最詳細的元數(shù)據(jù)格式MARC描述的中圖法數(shù)據(jù)庫，2000年出版了電子版，而且正在向網(wǎng)絡版發(fā)展。 （3）目前國內幾大文獻數(shù)據(jù)庫的分類標引均以中圖法為分類依據(jù)，選擇中圖法作為知識庫的組織框架，可以直接利用這些現(xiàn)已達到數(shù)百萬、上千萬條的標引記錄，從而免去類號轉換的麻煩。 （4）中圖法從90年代起，已經(jīng)實現(xiàn)了與國內規(guī)模最大、用戶最多的敘詞表漢語主題詞表（以下簡稱漢表）的兼容互換，研制并出版了國內最大的分類主題一體化詞表中國分類主題詞表（簡稱中分表）。近幾年還完成了中分表電子版的開發(fā)，并在新版中大幅度地增加了入口詞，加快了檢索語言的自然語言化。這一切為分類檢索語言、主題檢索語言、自然語言三者在標引、檢索中的互操作奠定了基礎。 （5）中圖法的網(wǎng)絡信息分類組織的可行性得到了大多數(shù)專家的認同，它也正在采取分面化、增加自然語言接口、增加超文本鏈接等多種措施，以適應網(wǎng)絡信息組織的發(fā)展需求。 總之，在構建中文文獻自動標引和自動分類系統(tǒng)用知識庫時，選擇中圖法作為知識庫的主干，具有明顯的優(yōu)勢。 3、中圖法知識庫與中圖法體系的結構比較 中圖法與其他的傳統(tǒng)分類法一樣，包括分類表（含附表）和類目索引兩大部分。隨著情報檢索語言向分類主題一體化方向發(fā)展，中圖法與漢表融為一體。1993年，中圖法編委會在中圖法與漢表對應的基礎上編制出版了分類主題一體化詞表中分表，從而使中圖法的體系日臻完善。中圖法體系如圖1所示。 中圖法的結構 中圖法體系在文獻手工標引時代做出了卓著的貢獻，但在應用于網(wǎng)絡信息和自動化時卻暴露出如下弊端： （1）無論是分類表還是對應的主題詞表或分類主題一體化的中分表都屬于受控語言，自然語言人口少，用戶使用不便。 （2）中圖法及其系統(tǒng)產(chǎn)品的著眼點是便于圖書情報人員的標引和檢索，而不是著眼于網(wǎng)絡時代的普通用戶的直接使用，因而過于強調詞匯控制，忽略了檢索語言與自然語言的結合。 （3）人工編制，定期修訂，更新慢，大量新詞、新主題、新類不能及時收錄。 （4）受印刷版的限制，分類表、詞表的規(guī)模偏小，類目和詞匯數(shù)量少， 難以滿足計算機自動處理的需要。 由于現(xiàn)有中圖法體系存在著上述弊端，所以有必要引進新的計算機和網(wǎng)絡技術對中圖法進行技術改造，包括采用計算語言學的方法和計算機編表技術，揭示分類檢索語言、主題檢索語言、自然語言之間的兼容互換關系，增加自然語言接口，擴充詞表規(guī)模和加快增補更新，從而適應網(wǎng)絡時代信息組織的發(fā)展。 我們開發(fā)的知識庫以中圖法為主干體系，包含若干個詞表和詞典，其中分類號關鍵詞串對應表為主分類知識庫，即知識庫的主體；抽詞詞典、停用詞表、同義詞表、義類詞典是主題標引知識庫；地名表、時代表、文獻類型表等為輔助分類知識庫；另外還有采用中圖法知識庫標引和檢索的文獻數(shù)據(jù)庫。圖2顯示了本知識庫的結構。 中圖法知識庫的結構 雖然都以中圖法分類體系為主干，揭示主題詞串與類號的對應關系，均可實現(xiàn)文獻信息分類主題一體化標引。但兩者相比，中圖法知識庫無論在內容、數(shù)量還是結構、功能上都優(yōu)于中圖法體系，更適合于文獻信息標引的自動化和信息檢索的智能化。 （1）中圖法體系只揭示了分類號與主題詞串的對應關系， 而知識庫則揭示了分類號與主題詞串、分類號與關鍵詞串、主題詞與關鍵詞之間的對應關系；后者詞匯直接來源于文獻，更新比前者快，便于用戶檢索。 （2）中圖法體系只揭示了分類表中羅列出的類目和主題詞串的對應關系；而知識庫源于標引記錄，包含了大量組合類目（仿分、復分時組配而成的類目），類目數(shù)明顯多于中圖法體系。 （3）在中圖法體系中一個類號最多對應20個主題詞（串）， 而中圖法知識庫中類目最多能對應幾百個詞串，平均一個類目對應1014個詞串，比中分表體系更能揭示類目的隱含概念；同時，詞串數(shù)量大，便于自動分類中的相符性比較。 （4）中圖法體系主要應用在手工標引和分類上；而知識庫的規(guī)模大、容量大、更新快、可擴充性好，因而可以成功地應用于自動標引和自動分類。它不僅能保證較高的標引質量和分類正確性，而且在主題標引時不僅給出主題詞還給出關鍵詞，另外，它的同義詞表、它的地名、時代、文獻類型等的多重標引