（計算機應(yīng)用技術(shù)專業(yè)論文）基于agent的元搜索引擎檢索結(jié)果優(yōu)化研究.pdf

基于a g e n t 的元搜索引擎檢索結(jié)果優(yōu)化研究 王紅( 計算機l 應(yīng)用技術(shù)) 指導(dǎo)教師：李村合( 教授) 摘要 目前所有的搜索引擎中，沒有一個能夠訪問全部的w w w 資源，大多 數(shù)的搜索引擎都只能覆蓋整個網(wǎng)絡(luò)資源的- 4 , 部分。由于各類搜索引擎的 信息來源差異較大，因此集成多個搜索引擎而產(chǎn)生的元搜索引擎應(yīng)運而 生，它具有比傳統(tǒng)搜索引擎覆蓋信息全面、檢索效果更好以及可擴展性強 等優(yōu)點。其中如何對各個成員搜索引擎返回的結(jié)果進(jìn)行相關(guān)性排序是提高 元搜索引擎效率的關(guān)鍵技術(shù)。 搜索引擎返回的結(jié)果太多且不能根據(jù)用戶的興趣提供檢索結(jié)果是當(dāng) 前倍受關(guān)注的問題。通過對網(wǎng)頁文本聚類技術(shù)的研究，以概念提取為目標(biāo)， 提出了一種基于中頻詞的實時網(wǎng)頁聚類策略。與傳統(tǒng)的聚類方法不同，該 算法將文檔聚類和主題描述統(tǒng)一起來，具有復(fù)雜度低、靈活性高的特點。 在分析目前已有的結(jié)果合成算法的基礎(chǔ)上，提出了一種從用戶瀏覽行為到 用戶興趣的映射算法，并結(jié)合用戶興趣對主題敏感頁面等級算法進(jìn)行改 進(jìn)，實現(xiàn)了對檢索結(jié)果的個性化排序，解決了搜索引擎的查詢結(jié)果規(guī)模龐 大，用戶又缺乏足夠耐心去瀏覽所有結(jié)果的問題，大大提高了用戶的查詢 質(zhì)量和效率。最后在對a g e n t 和多a g e n t 技術(shù)研究的基礎(chǔ)上，設(shè)計開發(fā)了 一個基于a g e n t 的元搜索引擎原型系統(tǒng)，提出了基于j a d e 平臺的元搜索 引擎多代理系統(tǒng)框架。它使用基于多a g e n t 的體系結(jié)構(gòu)來實現(xiàn)信息收集過 程的并行、分布式處理，由系統(tǒng)代替用戶對搜索引擎結(jié)果進(jìn)行對比，并去 除冗余網(wǎng)頁，將去重后的結(jié)果重新排序后提供給用戶。相對于傳統(tǒng)的面向 對象的元搜索引擎系統(tǒng)，該系統(tǒng)具有響應(yīng)速度快，耦合性低的特點。 關(guān)鍵詞：元搜索引擎，a g e n t ，結(jié)果優(yōu)化，主題分類，用戶興趣 r e s u l to p t i m i z a t i o no fm e t as e a r c h e n g i n e b a s e do l la g e n t w a n gh o n g ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f e s s o rl ic u r t - h e a b s t r a c t a t p r e s e n t , a m o n ga l lt h es e a r c he n g i n e s , n oo n ec a p _ c o v e ra l lt h ew w w r e s o u r e e s m o s to f t h e mc a no n l yo d v e rav e r ys m a l lp a r to f t h ee n t i r er e s o u l v t h ed i f f e r e n c ea m o n gi n f o r m a t i o ns o u r c e so fa l lk i n d so fs e a r c he n g i n e si ss o l a r g et h a tm e t as e a r c he n g i n e ( m s e ) a p p e a r sw h i c hi n t e g r a t e s m a n y i n d e p e n d e n ts e a r c he n g i n e s m s eh a sl a r g 盯c o v e rf a c e , b e t t e rs e a r c h e f f i c i e n c ya n de x p a n s i b i l i t y r e s u l to p t i m i z a t i o ni sak e yt e c h n o l o g yi na s p e c t o f i m p r o v i n gm e m - s e n r e he 1 3 9 i n e se f f i c i e n c y i ti sar e m a r k a b l ep r o b l e mt h a tt h ea m o u n to fr e s u l t sr e t u m e db ys e a r c h e n g i n e si se n o r f f l o u sa n de n g i n e sc a nn o tp r o v i d et ou s e r sw i t hr e q u i r e dr e s d t s b a s e do nt h e i ri n t e r e s t s b yr e s e a r c h i n go nt h ec l u s t e r i n gt e c h n o l o g yo fw e b p a g e ，w i t hc o n c e p te x t r a c t i o na sg o a l ，ar e a l - t i m ec l u s t e r i n ga l g o r i t h mw a s b r o u g h tf o r w a r d d i f f e r e n tf r o mt h et r a d i t i o n a lc l u s t e r i n gs t r a t e g y , i tc a nn o t o n l yc l a s s i f yt h er e s u l td o c u m e n ts e t sb u ta l s og i v ei t s t o p i cd e s c r i p t i o n e f f e c t i v e l yw i t ht h ea d v a n t a g e so fl o w e rc o m p l e x i t ya n dh i g h e rf l e x i b i l i t y t h r o u g ha n a l y z i n gr e s e ti n t e g r a t i o na l g o d t h m s ，w ep r o p o s e dak i n do f m a p p i n ga l g o r i t h mf r o mu s e r sb r o w s i n gb e h a v i o rt ou s e r si n t e r e s t sa n d i m p r o v e dt o p i c - s e n s i t i v ep a g er a n ka l g o r i t h mc o m b i n i n gw i t hu s e r si n t e r e s t s i tr e a l i z e st h ep e r s o n a l c o m p o s i t o ro fs e a r c hr e s u l t sa n df i g u r e so u tt h e i 釘 p r o b l e mt h a tt h ea m o u n to f r e s u l t sr e t u r n e db y s e a r c he n g i n e si st o ol a r g ea n d u s u a l l yu s e r sd o n th a v ee n o u g hp a t i e n c et ol o o kt h r o u g ha l lt h er e s u l t s a sa r e s u l t , t h i sa l g o r i t h mi m p r o v e st h eq u e r yq u a l i t ya n de f f i c i e n c yo b v i o u s l y a t l a s t ，b a s e do nt h er e s e a r c ho fa g e n ta n dm u l t i - a g e n tt e c h n o l o g y , t h i sp a p e r d e s i g n e dat e s t i n gs y s t e mf o rm e t a - s e a r c he n g i n eb a s e do nm u l t i - a g e n ta n d p r o p o s e d a m u l t i a g e n ts y s t e m f r a m e w o r kb a s e do nj a d ew h i c h a c c o m p l i s h e dt h ep a r a l l d , d i s t r i b u t i o n a lp r o c e s s i n go fi n f o r m a t i o nc o l l e c t i o n p r o c e s s i ti st h es y s t e mn o tt h eu 5 e 1 苫t h a td r a w sc o m p a r i s o n sa m o n gt h e s e a r c hr e s u l t s 1 9 1 l o v e $ r e d u n d a a c yw e bp a g e sa n dr e t u r n st ou s o r sw i t hw e b p a g e si ng o o do r d e r c o n t r a s t e dt ot r a d i t i o n a lo b j e c t - e r i e n t e ds y s t e m ，i th a s q u i c k e rr e s p o n s es p e e da n dl o w e rc o u p l i n g k e y w o r d s ：m e t as e a r c he n g i n e ，a g e n t , r e s u l to p t i m i z a t i o n ，s u b j e c t c l a s s i f i c a t i o n , u s e r si n t e r e s t 獨創(chuàng)性聲明 本人聲明所呈交的論文是我個人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作 及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外， 論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得中 國石油大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工 作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示 了謝意。 。 簽名：至焦 ) 。0 7 年弘月e l 關(guān)于論文使用授權(quán)的說明 本人完全了解中國石油大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即： 學(xué)校有權(quán)保留送交論文的復(fù)印件及電子版，允許論文被查閱和借閱；學(xué) 校可以公布論文的全部或部分內(nèi)容，可以采用影印、縮印或其他復(fù)制手 段保存論文。 ( 保密論文在解密后應(yīng)遵守此規(guī)定) 學(xué)生簽名： 導(dǎo)師簽名： 王組 j 7 年乒月 日 伽7 年孕月f 日 中國石油大學(xué)( 華東) 碩士論文第1 章前言 第1 章前言 1 1 課題的研究背景及意義 隨著i n t e m e t 的發(fā)展和普及，越來越多的用戶利用搜索引擎來搜索網(wǎng) 上信息。然而在信息極大豐富的同時，用戶也面臨著信息過載和資源迷向 的問題【1 1 。如何在浩瀚如海的信息空間里，快速查找并獲取所需的信息己 成為信息時代最根本的問題之一。 盡管搜索引擎的發(fā)展已較成熟，但人們在使用中卻發(fā)現(xiàn)要準(zhǔn)確、快速 地查找自己所需的信息是越來越困難。傳統(tǒng)的獨立搜索引擎存在著信息資 源覆蓋率低、檢索效率較低等問題【刎，人們經(jīng)常無法在一個搜索引擎上 找到自己想要的信息，而需要不停地在多個搜索引擎之間切換，在多個檢 索結(jié)果列表之間挑選對自己有用的內(nèi)容。另外網(wǎng)絡(luò)用戶對搜索引擎不滿意 的地方還集中在搜索速度慢、無效鏈接太多，重復(fù)或不相關(guān)信息較多，搜 索結(jié)果不具有個性化、不能因人而異等方面。出于以上原因，一種能集成 不同搜索引擎返回結(jié)果的檢索工具元搜索引擎出現(xiàn)了【5 。6 1 。 元搜索引擎 7 1 ( m e t as e a r c he n g i n e ，簡稱m s e ) 是一種調(diào)用其它獨 立搜索引擎的引擎，亦稱“搜索引擎之母”。它在檢索信息時通過調(diào)用其 它多個獨立搜索引擎來完成檢索功能，并能夠?qū)⒍鄠€搜索引擎查詢的結(jié)果 信息進(jìn)行融合、再加工后向用戶二次陳列，以強化檢索效果、提高檢索質(zhì) 量。其最大的特點是不需要設(shè)立自己獨立的索引數(shù)據(jù)庫，可把更多資源投 入統(tǒng)一檢索界面的建設(shè)【3 1 。元搜索引擎集中了許多獨立搜索引擎的優(yōu)勢， 簡化了用戶訪問多個搜索引擎的工作量，是一種新穎且具有開發(fā)前景的搜 索引擎。 現(xiàn)在已經(jīng)出現(xiàn)了一大批元搜索引擎，其中英文元搜索引擎較多，發(fā)展 較好，而中文元搜索引擎發(fā)展緩慢。目前運營的元搜索引擎各具特色，功 能各有側(cè)重，完全“理想”的尚不多見 9 1 。另外很多主流的搜索引擎提 供的服務(wù)沒有考慮每個個體用戶的需求，沒有考慮用戶的差異。同時，由 于不同的搜索引擎在搜集信息的數(shù)量、收集信息的范圍、采用的索引方法、 使用的相似度評價等方面差異巨大，再加上元搜索引擎的設(shè)計者不能獲取 中國石油大學(xué)( 華東) 碩士論文第1 章前言 這些搜索引擎的很多技術(shù)細(xì)節(jié)，故元搜索對不同搜索引擎返回的大量結(jié)果 不能很好地進(jìn)行排序。本文旨在研究現(xiàn)有元搜索引擎存在的局限性的基礎(chǔ) 上，設(shè)計出一個結(jié)構(gòu)更合理，功能更優(yōu)越，同時能夠融合更多相關(guān)領(lǐng)域技 術(shù)，體現(xiàn)個性查詢的元搜索引擎結(jié)構(gòu)模型。 1 2 國內(nèi)外研究現(xiàn)狀 實際的元搜索引擎系統(tǒng)使用的結(jié)果合成方法是各種各樣的，目前典型 算法有三種： ( 1 ) 如果只有文檔的原始順序是已知的，則可以采用間隔排列合成 法：首先把每個獨立搜索引擎檢索結(jié)果中的第1 項交叉列出，然后再把各 個檢索結(jié)果中的第2 項交叉列出，依此類推。 ( 2 ) 如果可以得到文檔的原始相關(guān)性分值，那么當(dāng)這些分值可以直接 比較時，則可以采用原始分值合成法：直接依據(jù)每個文檔的原始相關(guān)性分 值決定其合成排列次序；如果文檔的原始分值不能直接比較，則可以采用 規(guī)范分值合成法：通過對其進(jìn)行標(biāo)準(zhǔn)化來得到規(guī)范的相關(guān)性分值，并以此 為根據(jù)確定文檔的合成排列次序。 ( 3 ) 加權(quán)分值法：首先計算出各個檢索結(jié)果相應(yīng)于檢索條件的重要 性，再以此為權(quán)乘上文檔的相關(guān)性分值作為決定其合成排列次序的根據(jù)。 可見，確定文檔與檢索條件之間的相關(guān)性是優(yōu)化檢索結(jié)果的關(guān)鍵所 在。對于元搜索引擎檢索結(jié)果合成問題，目前已有不少研究者從不同角度 提出了各自的解決方法和優(yōu)化方案。通過閱讀大量文獻(xiàn)，總結(jié)得出以下3 個主要方面： ( 1 ) 相似度排序算法 對搜索結(jié)果進(jìn)行相關(guān)度評價，重新給出相關(guān)度，按新的相關(guān)性排列查 詢后提交給用戶，通過這樣的二次處理來提高查準(zhǔn)率。 ( 2 ) 對檢索結(jié)果集進(jìn)行分類或聚類分柝 主要思想是通過將搜索引擎返回的結(jié)果進(jìn)行分類組織，用戶只需根據(jù) 自己感興趣的內(nèi)容來選擇不同類別，直接查看此類剔下的信息，以提高用 2 中國石油大學(xué)( 華東) 碩士論文第1 章前言 戶查詢的效率，增強搜索引擎與用戶的交互。 許多研究者對此做了相當(dāng)多的努力。z a m i r 和e t z i o n i 對如何將搜索 引擎返回的結(jié)果進(jìn)行聚類做了研究【l ?！?，此文提出了一種后綴樹算法( s u f f i x t r e ea l g o r i t h m ) ，它充分利用了共享單詞之間的先后順序這一信息來進(jìn)行 聚類，缺點在于沒有體現(xiàn)出類別之間的層次結(jié)構(gòu)。y w a n g 在文獻(xiàn)【1 l 】中 提出了根據(jù)網(wǎng)頁之間的鏈接關(guān)系進(jìn)行聚類的方法。此方法不僅更適合w e b 搜索結(jié)果的聚類，而且克服了標(biāo)準(zhǔn)k m e a n s 算法易被噪音干擾的缺點， 不足在于需要下載并分析實際的網(wǎng)頁，在速度上無法滿足在線的使用。文 獻(xiàn) 1 2 d p ，h a n g c 和o s m a r 提出了一種基于語義類別進(jìn)行分類的方法， 此方法不需要事先訓(xùn)練數(shù)據(jù)這一步驟，而是使用一個在線數(shù)據(jù)庫作為類別 庫來確定建立具有層次的類別，缺點在于預(yù)先定義好的類別很難做到實時 更新。 聚類方法的主要缺點在于所花的時間較多，影響其滿足搜索引擎實時 性的要求；而分類方法的問題在于預(yù)定義的類別相對固定，很難做到實時 更新，導(dǎo)致最新信息的缺失和疏漏，影響其滿足搜索引擎信息覆蓋率的要 求。 ( 3 ) 個性化的排序方法 目前大多數(shù)的搜索引擎都沒有考慮用戶的偏好，不具備個性化服務(wù)功 能。隨著互聯(lián)網(wǎng)上信息的急劇增加，個性化搜索的研究和實現(xiàn)得到了人們 的廣泛重視。個性化搜索的主要思想就是根據(jù)用戶輸入的檢索詞，再結(jié)合 用戶興趣來進(jìn)行信息推薦，而不只是簡單的基于檢索詞進(jìn)行信息推薦，具 有更高的查準(zhǔn)率。建立反映用戶興趣的用戶特征文件是實現(xiàn)個性化推薦的 基礎(chǔ)。 目前，已有多種建立用戶特征文件的方法。文獻(xiàn) 1 3 】提出的方法是： 根據(jù)用戶檢索歷史建立一個用戶特征文件，再根據(jù)開放目錄建立一個通用 特征文件，然后基于這兩個文件推理用戶查詢所屬的適當(dāng)分類，并且在這 個分類中加入用戶輸入的檢索詞，以此來提高檢索效率。該方法只考慮了 分類，沒有考慮到同一層分類之間可能具有的某種邏輯關(guān)系，比如同時隸 屬于一個上層分類。文獻(xiàn) 1 4 】的用戶特征文件采用了一個詞與詞的關(guān)系 中國石油大學(xué)( 華東) 碩士論文第1 章前言 表，該表記錄了詞與詞之間的同義率和同現(xiàn)率，并且對用戶輸入的檢索詞 做了擴展，即用“( 檢索詞v 同義詞) 八一同出現(xiàn)的詞”來進(jìn)行檢索。這 種方法的缺點：一是詞匯量大，可行性不高：二是由于“邏輯與”運算， 使得檢索范圍縮小，用戶有可能檢索不到想要的信息。文獻(xiàn) 1 5 】采用的方 法是給出用戶輸入檢索詞的近義詞、同義詞，供用戶選擇，以此來提高查 全率；在返回結(jié)果的時候，通過用戶個性化信息表，過濾掉用戶不感興趣 的內(nèi)容，從而提高檢索精度。這種方法雖然提高了查準(zhǔn)率，但沒有從根本 上解決個性化推薦的問題。 許多關(guān)于信息過濾【1 6 _ 19 】和智能代理【2 0 】的文章也提到了建立顯式或隱 式的用戶特征文件，然后利用用戶特征文件過濾檢索結(jié)果。但這些文章沒 有考慮到信息概念在邏輯上的層次關(guān)系。 綜上所述，目前已有的國內(nèi)外元搜索引擎采用的結(jié)果合成方法都還不 夠完善，不能令人滿意，需要增強對檢索結(jié)果的后處理，如可以綜合考慮 多種因素對結(jié)果進(jìn)行排序；剔除死鏈接、重復(fù)網(wǎng)頁和不相關(guān)網(wǎng)頁，給用戶 提供更高質(zhì)量的檢索結(jié)果；將檢索結(jié)果自動聚類，方便用戶瀏覽等。個性 化也是元搜索引擎發(fā)展的趨勢。因此對元搜索引擎檢索結(jié)果優(yōu)化技術(shù)的研 究有一定的價值和意義。 1 3 課題研究的主要內(nèi)容 主要研究內(nèi)容如下： ( 1 ) 元搜索引擎技術(shù)：明確元搜索引擎的基本概念，了解元搜索引擎 的性能指標(biāo)評價體系，討論元搜索引擎的發(fā)展趨勢。 ( 2 ) a g e n t 技術(shù)研究和w e b 挖掘技術(shù)：研究a g e n t 的組成、功能和基 本結(jié)構(gòu)等，并在a g e n t 基礎(chǔ)上對多a g e n t 協(xié)作系統(tǒng)的特點、分類和交互進(jìn) 行研究。深入分析w e b 挖掘技術(shù)，明確其涵義，包括w e b 內(nèi)容挖掘、w e b 結(jié)構(gòu)挖掘和w e b 使用挖掘。 ( 3 ) 網(wǎng)頁文本聚類技術(shù)研究：分析文檔的表示方法，學(xué)習(xí)聚類知識， 在此基礎(chǔ)上，提出了一種基于中頻詞的網(wǎng)頁聚類算法，以此對檢索結(jié)果集 進(jìn)行分類。 4 中國石油大學(xué)( 華東) 碩士論文 第1 章前言 ( 4 ) 查詢結(jié)果合成算法研究：在分析現(xiàn)有的元搜索引擎檢索結(jié)果合成 算法的基礎(chǔ)上，針對其不能滿足用戶的個性化檢索方面的不足，解析用戶 瀏覽行為與興趣間的關(guān)系，提出了一種基于用戶興趣的檢索結(jié)果排序算 法，以提高檢索效率為最終目標(biāo)。 ( 5 ) 基于a g e n t 的元搜索引擎系統(tǒng)模型的設(shè)計與實現(xiàn)：設(shè)計并實現(xiàn)一 個基于a g e n t 的個性化元搜索引擎系統(tǒng)模型，并對檢索性能進(jìn)行測試，給 出效果評價。 1 4 論文的組織結(jié)構(gòu) 論文共分6 個章節(jié)，主要內(nèi)容組織如下： 第1 章分析了元搜索引擎檢索結(jié)果優(yōu)化技術(shù)的問題緣由，包括該課題 的研究背景及意義、國內(nèi)外研究現(xiàn)狀以及研究的主要內(nèi)容。 第2 章對元搜索引擎相關(guān)技術(shù)進(jìn)行了闡述，首先介紹了元搜索引擎的 相關(guān)概念，然后對a g e n t 技術(shù)和w e b 挖掘技術(shù)做了簡單系統(tǒng)地論述。 第3 章對網(wǎng)頁文本分類技術(shù)進(jìn)行了研究，將網(wǎng)頁分類與主題描述結(jié)合 起來，提出了一種基于中頻詞的網(wǎng)頁聚類策略。 第4 章對元搜索引擎檢索結(jié)果合成的關(guān)鍵技術(shù)進(jìn)行了闡述。在對現(xiàn)有 的查詢結(jié)果排列算法進(jìn)行研究的基礎(chǔ)上，通過深入分析用戶瀏覽行為與興 趣之間的關(guān)系，提出了一種從用戶行為到用戶興趣的映射算法，并結(jié)合用 戶興趣對t s p r 算法進(jìn)行改進(jìn)，最終實現(xiàn)對元搜索引擎檢索結(jié)果的優(yōu)化捧 序。 第5 章給出了基于a g e n t 的元搜索引擎系統(tǒng)模型的設(shè)計方案，結(jié)合實 際情況實現(xiàn)了一個原型系統(tǒng)，并對實驗結(jié)果進(jìn)行測試和評價。 第6 章是對本文工作的總結(jié)和展望。 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 第2 章元搜索引擎相關(guān)技術(shù) 2 1 元搜索引擎概述 2 1 1 元搜索引擎的基本概念 元搜索引擎【2 1 l 將現(xiàn)有的多個搜索引擎看成一個整體，為用戶提供一 個統(tǒng)一的查詢界面，用戶的查詢請求由元搜索引擎根據(jù)知識庫中的信息， 轉(zhuǎn)換為多個搜索引擎所能識別的格式，然后分別發(fā)送給調(diào)用的各獨立搜索 引擎，由這些搜索引擎完成實際的信息檢索，最后元搜索引擎再把各搜索 引擎返回的結(jié)果收集起來，進(jìn)行比較分析，剔除冗余信息，以一定的格式 返回給用戶。元搜索引擎調(diào)用的各獨立搜索引擎被稱為“目標(biāo)搜索引擎”、 “成員搜索引擎”或“源搜索引擎”，它們各自保持其原來的局部數(shù)據(jù)模 式和檢索指令。元搜索引擎給出一個全局外部模式，用以接受用戶檢索輸 入和結(jié)果輸出。 元搜索引擎有多種分類方式【2 2 】，按功能劃分包括集成搜索引擎和多 線索式搜索引擎；按運行方式的差異可分為桌面型元搜索引擎和基于w e b 的元搜索引擎；按照工作方式可分為并行處理式和串行處理式兩類。 與獨立搜索引擎相比，元搜索引擎不需要維護(hù)龐大的索引數(shù)據(jù)庫，也 不需要網(wǎng)絡(luò)蜘蛛去采集網(wǎng)頁。具體說來，元搜索引擎主要由三部分組成 2 3 1 ： 請求提交代理、檢索接口代理和結(jié)果顯示代理。如圖2 1 所示。 圖2 1 元搜索引擎的體系結(jié)構(gòu) 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 請求提交代理負(fù)責(zé)實現(xiàn)用戶“個性化”的檢索設(shè)置要求，包括調(diào)用哪 些搜索引擎、檢索時間限制、結(jié)果數(shù)量限制等。檢索接口代理負(fù)責(zé)將用戶 的檢索請求“翻譯”成能滿足不同搜索引擎“本地化”要求的格式。由于 不同的搜索引擎所支持的查詢方式不同，即便是同一種方式。也有不同的 表達(dá)方法，所以必須將元搜索引擎中的查詢請求映射到對應(yīng)的搜索引擎 中，而且要保證語義信息不丟失。結(jié)果顯示代理負(fù)責(zé)所有成員搜索引擎檢 索結(jié)果的去重、合并、輸出處理等。 2 1 2 元搜索引擎的評價指標(biāo) 作為一種搜索引擎，元搜索引擎也具有搜索引擎的一些基本指標(biāo)，如 查全率、查準(zhǔn)率、召回率、響應(yīng)速度、響應(yīng)時間，用戶負(fù)擔(dān)等【2 4 1 但是 元搜索引擎之間個體差異很大，很難進(jìn)行精確的評價1 2 5 。元搜索引擎的 評價主要依靠下面幾個指標(biāo)： ( 1 ) 獨立搜索引擎的調(diào)度策略：有些元搜索引擎固定地調(diào)用幾個獨立 搜索引擎，用戶不能修改。有些元搜索引擎在高級特性中讓用戶選擇調(diào)用 哪些搜索引擎。這兩種策略都有不足之處，前一種將跟不上搜索引擎的發(fā) 展潮流。后一種，對于不熟悉搜索引擎的用戶來說可能選擇不到適合自己 需要的搜索引擎。實現(xiàn)獨立搜索引擎的自動調(diào)度必會大大提高系統(tǒng)的查準(zhǔn) 率。 ( 2 ) 是否提供足夠的檢索選項：包括是否提供高級檢索服務(wù)，是否可 以限定最長檢索時間，是否可以設(shè)置每個搜索引擎返回的結(jié)果數(shù)量是否 可以設(shè)置每頁顯示的結(jié)果數(shù)目等。檢索選項越多，用戶使用的時候就越靈 活。這也是衡量元搜索引擎性能的一個標(biāo)準(zhǔn)。但是由于元搜索引擎的檢索 特性向它所調(diào)用的獨立搜索引擎檢索特性的轉(zhuǎn)換所具有的復(fù)雜性，許多元 搜索引擎不提供復(fù)雜的檢索特性。 ( 3 ) 對搜索結(jié)果的處理能力：對獨立搜索引擎返回結(jié)果的處理能力是 評價元搜索引擎性能的又一重要指標(biāo)【2 6 】。它包括結(jié)果的處理和顯示。 ( 4 ) 相關(guān)度評價：每個搜索引擎開發(fā)商為了將最滿意的結(jié)果放到最前 面，不遺余力地創(chuàng)建出各種相關(guān)度指標(biāo)體系，雖然沒有一種方法是完美的， 但都有戧新和獨到之處。 7 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 2 1 3 國內(nèi)外相關(guān)研究工作 利用o o o g l e 、百度和雅虎等搜索引擎搜索元搜索引擎，并通過一些著 名的引擎指南網(wǎng)站所提供的線索來確定有代表性的國內(nèi)外元搜索引擎，然 后對檢索出的元搜索引擎進(jìn)行簡單的測試，從中選出2 個中文元搜索引擎 和4 個英文元搜索引擎 2 7 - 3 2 1 ，如表2 1 所示： 表2 1 國內(nèi)外元搜索引擎的性能比較 測試項萬緯搜星 d o g p i l e m e t a c r a w l e rm a m m as e a r c h c o r n 主頁設(shè)置較好一般好好好好 搜索范圍 8 個 未顯示 6 個7 個1 4 個5 個 可選不可選不可選可選可選 響應(yīng)時間可選 不可選 不可選不可選可選不可選 分類搜索無有無無無有 高級檢索有無有有有無 短語檢索無無有有有有 布爾檢索 a n d 、 空格 a n d 、a n d 、o r 、a n d 、a n d 、o r 、 o ro r 、n o tn o t 、a n do r 、 n o ，r n o tn o t 限制檢索無無有有 無無 二次檢索 無無無無無有 相關(guān)檢索無無 無無有有 結(jié)果選擇可選可選可選可選可選 可選 結(jié)果排序相關(guān)度無相關(guān)度相關(guān)度相關(guān)度相關(guān)度 方式 鏈接情況般一般一般一般一般一般 檢索結(jié)果 有 有無無無有 有無重復(fù) 由此看來，目前運營的元搜索引擎各具特色，功能各有側(cè)重，完全“理 想”的尚不多見。在出現(xiàn)的一大批元搜索引擎中，以英文元搜索引擎較多， 發(fā)展較好，而中文元搜索引擎的發(fā)展還比較緩慢，目前較著名的有萬緯搜 8 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 索引擎1 2 q 。 搜索前的預(yù)處理和對搜索返回結(jié)果的集成是元搜索引擎的核心。個性 化、智能化和專業(yè)化將是未來元搜索引擎的發(fā)展方向圓。在未來的互聯(lián)網(wǎng) 信息檢索領(lǐng)域，元搜索引擎會有更廣闊的應(yīng)用前景，尤其是大多數(shù)中文元 搜索引擎還處于起步階段，發(fā)展余地很大。相信在不久的將來會有更多、 更強的中文元搜索引擎出現(xiàn)。 2 2a g e n t 技術(shù) 2 2 1a g e n t 的基本概念 ( 1 ) a g e n t 的概念 a g e n t 技術(shù)是近年來研究的一個熱點，它是從人工智能的一個分支 d a i ( d i s t r i b u t e da r t i f i c i a li n t e l l i g e n c e ) 發(fā)展起來的，從2 0 世紀(jì)8 0 年代 才開始研究，直到2 0 世紀(jì)9 0 年代中才得到廣泛的認(rèn)同目前對a g e n t 和多a g e n t 系統(tǒng)的研究主要集中在以下方面【3 3 】；a g e n t 和多a g e n t 理論、 a g e n t 的體系結(jié)構(gòu)和組織、a g e n t 語言、a g e n t 之間的協(xié)作和協(xié)調(diào)、通信 和交互技術(shù)、移動a g e n t 、多a g e n t 學(xué)習(xí)以及多a g e n t 系統(tǒng)應(yīng)用等。 a g e n t 一詞一直被翻譯成。代理”，也有人把它翻譯為“智能代理”， 廣義上它是指具有智能的任何實體，包括人類、智能硬件( 如機器人) 和 智能軟件。f i p a ( f o u n d a t i o nf o ri n t e l l i g e n tp h y s i c a la g e n t ) 是致力于a g e n t 標(biāo)準(zhǔn)化的組織，a g e n t 被該組織定義為 3 4 1 ：“駐留于環(huán)境中的實體，它可 以解釋從環(huán)境中獲得，反映環(huán)境中所發(fā)生事件的數(shù)據(jù)，并且執(zhí)行對環(huán)境產(chǎn) 生影響的行為”。a g e n t 也能為用戶執(zhí)行特定的任務(wù)、具有一定程度的智 能，以允許自主執(zhí)行部分任務(wù)。 a g e n t 與對象既有相同之處，又有很大的不同。a g e n t 和對象一樣具 有標(biāo)志、狀態(tài)、行為和接口。但a g e n t 和對象相比主要有以下差異： a g e n t 具有智能，通常擁有自己的知識庫和推理機，而對象則一 般不具備智能性。 a g e n t 能夠自主地決定是否對來自其它a g e n t 的信息做出響應(yīng)， 而對象卻必須按照外界的要求行動。也就是說a g e n t 系統(tǒng)能封裝行為，而 9 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 對象只能封裝狀態(tài)，不能封裝行為，對象的行為取決于外部的方法調(diào)用。 a g e n t 之間的通信通常采用支持知識傳遞的通信語言。 a g e n t 可以被看作是一類特殊的對象，即具有心智狀態(tài)和智能的對 象。a g e n t 本身可以通過對象技術(shù)構(gòu)造，而且目前大多數(shù)a g e n t 都采用了 對象技術(shù)。 圖2 - 2 給出了a g e n t 與環(huán)境交互的典型行為圖【3 5 】。a g e n t 為了影響環(huán) 境而產(chǎn)生動作輸出。a g e n t 接收從環(huán)境中感知的輸入，并產(chǎn)生輸出動作作 用于環(huán)境。這種交互通常是一個連續(xù)不斷的過程。在復(fù)雜適度的環(huán)境中， a g e n t 不能完全控制自己的環(huán)境，最多只能部分地控制，即對環(huán)境產(chǎn)生影 響。 圖2 - 2 a g e n t 行為圖 ( 2 ) a g e n t 的特性 盡管目前人們對a g e n t 還沒有非常確切的概念定義，但是業(yè)界普遍認(rèn) 為，a g e n t 一般應(yīng)具備以下屬性： a ) 自治性：a g e n t 能在沒有人類或其它a g e n t 直接干涉和指導(dǎo)的情況 下獨立運行，并能獨立地根據(jù)其內(nèi)部狀態(tài)和感知的環(huán)境信息決定和控制內(nèi) 部狀態(tài)和自身的行為。 b ) 反應(yīng)性：a g e n t 能夠通過各種接1 ：3 和通信機制感知外部環(huán)境的變化 并及時產(chǎn)生復(fù)雜和適當(dāng)?shù)姆磻?yīng)。 c ) 社會性：a g e n t 擁有其它實體( a g e n t 、人、對象以及它們構(gòu)成的 l o 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 環(huán)境) 的信息和知識，并能夠通過某種通信語言與這些實體進(jìn)行交互和協(xié) 作。 d ) 主動性：a g e n t 能夠根據(jù)承諾采取主動行為，表現(xiàn)出目標(biāo)驅(qū)動的特 性。 e ) 適應(yīng)性：a g e n t 是具有學(xué)習(xí)功能的智能體。 f ) 理性：a g e n t 沒有沖突的目標(biāo)，其動作和行為總是基于內(nèi)部已有的 目標(biāo)，而且行為有助于目標(biāo)的實現(xiàn)，而不會故意阻止其目標(biāo)的實現(xiàn)。 g ) 友好性：a g e n t 總是能盡可能地完成其它a g e n t 的要求。 h ) 交互性：a g e n t 能夠和環(huán)境以及其它a g e n t 進(jìn)行通信。通過交互可 以報告自己的狀態(tài)和感知環(huán)境的變化。交互是a g e n t 最重要的屬性之一。 i ) 移動性：a g e n t 能夠?qū)⒆约簭囊粋€環(huán)境移動到另一個環(huán)境，并在新 環(huán)境下正常運行。 j ) 智能性：a g e n t 的狀態(tài)由信念、目標(biāo)、規(guī)劃和意圖等心智狀態(tài)構(gòu)成， 并通過符號語言與其它a g e n t 進(jìn)行交互。 k ) 代理性：a g e n t 可以代表某人或某實體為其獲得利益或代其行使職 權(quán)。 d 不可預(yù)測性：a g e n t 的行為具有某種不確定性。即使知道a g e n t 的 內(nèi)部狀態(tài)也不能完全預(yù)測a g e n t 的行為方式。 m 1 協(xié)作性：a g e m 可以為達(dá)到相同目標(biāo)而協(xié)同工作。 n ) 可信性：a g e n t 遵從a g e n t 社會的法則，從這個角度上看a g e n t 是 可信賴的， o ) 協(xié)調(diào)性：一個a g e n t 可以在與其它a g e n t 共享的環(huán)境下工作，其 行為可以通過規(guī)劃、工作流和其它管理機制進(jìn)行協(xié)調(diào)。 p ) 健壯性：a g e n t 能夠處理一些錯誤和不完整數(shù)據(jù)。 q ) 持續(xù)性：a g e n t 是一個持續(xù)運行的實體，它可以有持續(xù)性的目標(biāo)， 也可以不斷產(chǎn)生新的目標(biāo)。 對于一個具體的a g e n t 系統(tǒng)而言，并不一定具有上述所有特點。研究 人員通常將只具有屬性州) 的a g e n t 視為弱a g e n t 。而人工智能領(lǐng)域的研 究人員對強a g e n t 概念更感興趣。他們認(rèn)為強a g e n t 應(yīng)具有更多的人類特 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 征，如知識、信念、期望和意圖等心智狀態(tài)特征，甚至具有感情特征1 3 6 j 。 ( 3 ) a g e n t 的結(jié)構(gòu) 一般認(rèn)為一個可以在軟件環(huán)境中進(jìn)行智能活動的a g m ，由四大要素 組成，即行為( b e h a v i 0 0 、資源( r e s o u r c e ) 、意念( i n t e n t i o n ) 和愿望( d e s i r e ) ， 分別描述了a g e n t 的活動特性、信息特性、決策特性和動機特性。一個 a g e n t 的行為包括感知行為、效應(yīng)行為、通訊行為和認(rèn)知( 推理) 行為；資 源包括信念( 即a g e n t 關(guān)于自身、環(huán)境和其它a g e n t 的模型) 和知識( 專業(yè)知 識、專業(yè)規(guī)劃、通訊協(xié)議知識等) ；意念是a g e n t 受到外部條件觸發(fā)或內(nèi) 部愿望的驅(qū)使所進(jìn)行規(guī)劃動作的執(zhí)行過程；愿望是a g e n t 所承擔(dān)角色的目 標(biāo)和職責(zé)，集中反映了a g e n t 的行為動機。根據(jù)以上描述可以給出a g e n t 的基本結(jié)構(gòu)圖如2 - 3 所示。 圖2 3 代理的基本結(jié)構(gòu) 2 2 2 _ u i t i - a g e n t 系統(tǒng) ( 1 ) m a s 的概念 多a g e n t 協(xié)作系統(tǒng)( m u l t i - a g e n ts y s t e m ，簡稱m a s ) 是由多個a g e n t 組成的系統(tǒng)，其形成一個計算機網(wǎng)絡(luò)環(huán)境下完成特定任務(wù)的a g e n t 群，其 中每個a g e n t 通過通訊接口與其它a g e n t 進(jìn)行交互。系統(tǒng)內(nèi)的各個a g e n t 不一定都運行在同一個計算機上，可能是異構(gòu)計算機環(huán)境。m a s 具有以 下優(yōu)勢： 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 通過a g e n t 之間的交互通訊，可以開發(fā)新的任務(wù)問題求解方法來 解決不完全的、不確定的知識。 通過a g e n t 之間的相互合作，m a s 系統(tǒng)不僅改善了每個a g e n t 的基本能力，而且可以從a g e n t 之間的交互中進(jìn)一步理解社會活動。 可以用模塊化風(fēng)格來組織系統(tǒng)。根據(jù)a g e n t 描述可知，a g e n t 具 有類似于人的特征，因此采用模擬人類社會的組織結(jié)構(gòu)來構(gòu)造多a g e n t 系統(tǒng)的體系結(jié)構(gòu)將會帶來諸多好處。首先人類在社會生產(chǎn)活動中存在著許 多有效的組織形式，把這些組織形式映射到m a s 的設(shè)計上可獲得多種不 同特點的m a s ；其次人們對人類社會的組織形式有一種很強的理解力， 因此采用這種方式構(gòu)造的m a s 更易為軟件開發(fā)設(shè)計人員理解和接受；另 外人類社會活動中存在著許多智能活動，把這些智能活動引入到m a s 中 可明顯提高m a s 系統(tǒng)的問題處理能力。 ( 2 ) m a s 的結(jié)構(gòu) m u l t i - a g e n t 系統(tǒng)為了更好的進(jìn)行合作，必須具有良好的體系結(jié)構(gòu)。 m u l t i a g e n t 系統(tǒng)的基本結(jié)構(gòu)可分為以下三種口7 ) ： 上下級結(jié)構(gòu) 上下級結(jié)構(gòu)的多a g e n t 系統(tǒng)是根據(jù)標(biāo)準(zhǔn)的任務(wù)分層而構(gòu)建的，下級從 上級那里得到命令、要求和數(shù)據(jù)，經(jīng)過計算處理后，再將計算結(jié)果反饋回 上級。這種結(jié)構(gòu)的特點是任務(wù)分層清晰，a g e n t 之間信息流動的控制較為 容易，缺點是大大加重了高層節(jié)點的工作量，同時造成系統(tǒng)對高層節(jié)點的 失誤很敏感。結(jié)構(gòu)如圖2 - 4 所示： 對等結(jié)構(gòu) 圖2 4m u l t i a g e n t 的上下級結(jié)構(gòu)圖 中國石油大學(xué)( 華東) 碩士論文 第2 章元搜索引擎相關(guān)技術(shù) 在多a g e n t 系統(tǒng)中，各個a g e n t 之間需要較多的直接交互，不需要管 理者時，對等結(jié)構(gòu)就表現(xiàn)出了它的優(yōu)越性。如圖2 5 所示，與上下級結(jié)構(gòu) 不同的是各個a g e n t 在整個系統(tǒng)中的地位是相等的，不依賴于某個上級下 達(dá)指令，并建立了與相關(guān)a g e n t 的直接聯(lián)系。這樣以來，就大大加快了信 息流動的效率。同時，由于消除了高層節(jié)點間的依賴，從而提高了系統(tǒng)的 健壯性。這種系統(tǒng)帶來的問題是信息的流動顯著增加，信息控制變得更為 復(fù)雜。 圖2 - 5m u l t i - a g e n t 的對等結(jié)構(gòu)圖 分層結(jié)構(gòu) 分層結(jié)構(gòu)綜合了上述兩種結(jié)構(gòu)的特點，既包含了上下級間的控制關(guān) 系，又可以建立相關(guān)a g e n t 之間的直接聯(lián)系，提高了信息交流的靈活性。 結(jié)構(gòu)如圖2 - 6 所示： 圖2 - 6m u l t i - a g e n t 的分層結(jié)構(gòu)圖 ( 3 ) 多a g e n t 的交互 從a g e n t 的定義中可以看出，a g e n t 對外界( 包括軟件環(huán)境和其它環(huán) 境) 消息的獲取可分為兩種方式：一種是通過感知器去感知外界的變化； 另一種是通過通訊器的相互交流來獲取外界消息。多a g e n t 的交互就是基 1 4 中國石油大學(xué)( 華東) 碩士論文第2 章元搜索引擎相關(guān)技術(shù) 于這兩種方式的交互。 基于前一種方式的交互被稱為黑板式交互。這里的黑板可以是共享的 數(shù)據(jù)庫、數(shù)據(jù)文件、內(nèi)存數(shù)據(jù)結(jié)構(gòu)、w 曲頁面等，黑板從內(nèi)容上可以劃 分成幾個分區(qū)，每個分區(qū)存放不同的內(nèi)容信息；從存取方式上可分為專寫 專讀( 一個a g e n t 往上寫，另一個a g e n t 讀) 、專寫多讀( 一個a g e n t 往上寫， 多個a g e n t 讀) 、多寫專讀( 多個a g e n t 往上寫，一個a g e n t 讀) 和多寫多讀 ( 多個a g e n t 往上寫，多個a g e n t 讀) 方式，還可以對多個a g e n t 進(jìn)行某種 限制，如某一類型的a g e n t 可以讀或某一類型的a g e n t 可以寫。黑板式交 互是一種異步的交互方式。 基于后一種方式的交互被稱為通訊原語式交互。通訊原語式交互是一 種同步交互方式，通過信道進(jìn)行直接傳輸。其傳輸可以是一對一和一對多 方式，與黑板式交互一樣，在一對多的傳輸方式中，多個a g e n t 可以根據(jù) 具體需要進(jìn)行分類。 多a g e n t 之間的交互是構(gòu)造m a s 系統(tǒng)的前提。幾個a g e n t 在一起永 遠(yuǎn)是幾個獨立的個體a g e n t ，只有依靠交互手段實現(xiàn)a g e n t 間的協(xié)調(diào)合作 才能構(gòu)成一個完整的系統(tǒng)。本課題采用人工智能中的a g e n t 技術(shù)，在m a s 的基礎(chǔ)上，設(shè)計開發(fā)了一個基于多a g e n t 協(xié)作的個性化元搜索引擎原型系 統(tǒng)。 2 2 3a g e r r t 技術(shù)的應(yīng)用 智能a g e n t 具有的自治、學(xué)習(xí)及合作性等特點，為實現(xiàn)w e b 信息檢 索智能化提供了有力支持 3 s 】?？梢栽趙 e b 上建立各種代替人類完成相應(yīng) 服務(wù)的智能a g e n t ，由它們相互配合，協(xié)助用戶完整、準(zhǔn)確、有效地獲取 信息。 a g e n t 技術(shù)，個性化搜索引擎和智能信息檢索是當(dāng)今國際、國內(nèi)的研 究熱點問題。如何從龐雜的因特網(wǎng)中抽取相關(guān)信息一直是擺在各國科學(xué)家 面前的一道難題，同時也是在計算機科學(xué)研究領(lǐng)域取得較快進(jìn)展和廣泛應(yīng) 用的一個分支。在這個領(lǐng)域產(chǎn)生了各種研究方法和實現(xiàn)手段，將a g e n t 和個性化技術(shù)應(yīng)用于搜索引擎是一種比較先進(jìn)的方法 3 9 1 ，采用a g e n t 實 現(xiàn)自主的行為和個性化的載體，完成系統(tǒng)中各個相對獨立的功能模塊。對 中國石油大學(xué)( 華東) 碩士論文 第2 章元搜索引擎相關(guān)技術(shù) 于信息檢索，較流行的是采用b a go f w o r d s ，即在不考慮詞序的情況下進(jìn) 行非語法的分析，運用與人工智能相結(jié)合的統(tǒng)計學(xué)和機器學(xué)習(xí)的方法對文 本信息進(jìn)行結(jié)構(gòu)化處理，使其能夠接受標(biāo)準(zhǔn)化查詢。實現(xiàn)時大量采用向量 空問模型( v e c t o rs p a c em o d e l ) 處理大規(guī)模的文檔，使用a g e n t 技術(shù)代理用 戶檢索請求，采用跨平臺的語言( 如j a v a ) 和便于與用戶交互的方式( 如 b r o w s e r 方式) ，融合用戶的行為模式，以提高檢索的精度和廣度。國內(nèi)在 如何利用a g e n t 實現(xiàn)智能化方面也進(jìn)行了許多探討并做了大量的實踐工 作。在信息檢索領(lǐng)域，文檔的自動聚類和理解也是一個研究重點。另外由 于中文和西文在編碼和表達(dá)方式上有很大不同，因此國內(nèi)在中文檢索的處 理上也投入了大量精力。 2 3w e b 挖掘技術(shù) ( 1 ) w e b 挖掘的概念 當(dāng)前搜索引擎所使用的兩種技術(shù)都難以解決找信息難的問題，造成這 種困難的實質(zhì)在于搜索引擎缺乏知識處理能力和理解能力，對要檢索的信 息僅僅采用機械的關(guān)鍵詞匹配來實現(xiàn)。把信息檢索從目前的基于關(guān)鍵詞層 面提高到基于知識( 或概念) 層面，是解決問題的根本和關(guān)鍵。為了解決 w e b 信息檢索中存在的各種問題，e t z i o n i 提出了w e b 挖掘( w e bm i n i n g ) 的概念【鐘】：“在已知數(shù)據(jù)樣本的基礎(chǔ)上，通過歸納學(xué)習(xí)、機器學(xué)習(xí)、統(tǒng)計 分析等方法得到數(shù)據(jù)對象間的內(nèi)在特性，據(jù)此采用信息過濾技術(shù)在網(wǎng)絡(luò)中 提取用戶感興趣的信息或者更高層次的知識和規(guī)律，簡單的說，就是利用 數(shù)據(jù)挖掘技術(shù)從w e b 文檔和w e b 活動中發(fā)現(xiàn)、抽取人們感興趣的、潛在 的有用模式和隱藏的信息?！眞 e b 挖掘的研究對象是以半結(jié)構(gòu)化和無結(jié)構(gòu) 文檔為中心的w e b ，這些數(shù)據(jù)沒有統(tǒng)一的模式，數(shù)據(jù)的內(nèi)容和表示相互 交織，數(shù)據(jù)內(nèi)容基本上沒有語義信息描述，僅僅依靠h t m l