文獻網(wǎng)絡計算機網(wǎng)絡 外文文獻 英文文獻 外文翻譯 探討搜索引擎爬蟲

131516171819202123271FLRLHTML24JOLIVERAFOR1ANIINGPROCEEDINGSOF213NATIONALCONFERENCEONCHALLENGESALLLINKSINTHATROOLHTMLPAGEARCTLIRCCTSONSOFTHEROOTSUBSEQUENTLINKSARETHENSONSOFLHEPREVIOUSSONSASINGLEURLSERVERSERVESLISTSOFURLSTOANUMBEROFCRAWLERSWEBCRAWLERSTARTSBYPARSINGASPECIFIEDWEBPAGE,NOTINGANYHYPERTEXTLINKSONTHALPAGETHATPOINTTOOTHERWEBPAGESTHEYTHENPARSETHOSEPAGESFORNEWLINKS,ANDSOON,RECURSIVELYWEBCRAWLERSOFTWAREDOCSIILACTUALLYMOVEAROUNDLODIFCRCNLCOMPUTERSONTHEHILCRAELASVIRUSESORINTELLIGENTAGENTSDOEACHCRAWLCRKEEPSROUGHLY300CONNECTIONSOPENATONCCTHISISNCCCSSARYTORETRIEVEWEBPAGESALAFASTENOUGHPACCACRAWLCRRESIDESONASINGLEMACHINETHECRAWLCRSIMPLYSENDSHTTPREQUESTSFORDOCUMENTSLOOTHERMACHINESONTHELNLEMCL,JUSTASAWEBBROWSERDOCSWHENTHEUSERCLICKSONLINKSALLTHECRAWLCRREALLYDOESISLOAUTOMATETHEPROCESSOFFOLLOWINGLINKSWEBCRAWLINGCANBEREGARDEDASPROCESSINGITEMSINAQUEUEWHENTHECRAWLWVISITSAWEBPAGE,ITEXTRACTSLINKSTOOTHERWEBPAGESSOLHECRAWLCRPUTSTHESEURLSATLHEENDOFAQUEUE,ANDCONLINUESCRAWLINGTOAURLTHATITREMOVESFROMLHEFRONTOFTHEQUEUE1ARESOURCECONSTRAINTSCRAWLCRSCONSUMCRESOURCESNETWORKBANDWIDTHTODOWNLOADPAGES,MEMORYLONIAINLAINPRIVATEDATASTRUCTURESINSUPPORTOFLLIEIRALGORITHMS,CPUTOEVALUATEANDSELECTURLS,ANDDISKSTORAGEOSTORETFIELEXLANDLINKSOFFETCHEDPAGESASWELLASOTHERPERSISTENTDATABROBOTPROTOCOLTHEROBOTTXTFILEGIVESDIRECTIVESFOREXCLUDINGAPORTIONOFAWEBSITELOBECRAWLCILANALOGOUSLY,ASIMPLETCXFILECANFURNISHINFORMATIONABOUTTHEFRESHNESSANDPOPULARITYOFPUBLISHEDOBJECTSTHISINFORMATIONPERMITSACRAWLCRTOOPTIMIZEITSSTRATEGYFORREFRESHINGCOLLECTEDDALAASWELLASREPLACINGOBJECTPOLICYCMETASEARCHENGINEANICTASCARCHENGINEISHEKINDOFSEARCHENGINETHATDOESNOTHAVEITSOWNDATABASEOFWEBPAGESITSENDSSEARCHTERMSIOLHEDATABASESMAINLAMEDBYOTHERSEARCHENGINESANDGIVESUSERSLHERESULTTHATCOMEFROMALLTHESEARCHENGINESQUERIEDFEWERMETASEARCHERSALLOWYOUTODELVEINTOTHELARGEST,MOSTUSEFULSEARCHENGINEDATABASESTHEYTENDTORETURNRESULTSFROMSMALLERAND/ORFREESEARCHENGINESANDMISCELLANEOUSFREEDIRECTORIES,OFTENSMALLANDHIGHLYCOMMCRCIALVCRAWLINGTECHNIQUESAFOCUSEDCRAWLINGAGENERALPURPOSEWEBCRAWLERGATHERSASMANYPAGESASILCANFROMAPARTICULARSETOFURLSWHEREASAFOCUSEDCRAWLERISDESIGNEDLOONLYGATHERDOCUMENTSONASPECIFICTOPIC,THUSREDUCINGTHEAMOUNTOFNETWORKTRAFFICANDDOWNLOADSI“HCGOALOFIHCFOEUSEDCRAWICRISTOSELECTIVELYOUTPAGESTHALARERELEVANTLOAPREDEFINEDSETOFTOPICS,TOPICSARESPECIFIEDNOLUSINGKEYWORDS,BUTUSINGEXEMPLARYDOCUMENTSRATHERTHANCOLLECLINGANDINDEXINGALLACCESSIBLCAVEBDOCUMENTSLOBEABLELOANSWERALLPOSSIBLEADHOCQUERIES,AIOCUSCTLCRAWICRANALYZESITSCRAWLBOUNDARYLOFINDIHCLINKSLHALARCLIKELYLOBEMOSTRELEVANTFORTHECRAWL,ANDAVOIDSIRRELEVANTREGIONSOFIHEWEBTHISLEADSTOSIGNIFICANTSAVINGSINHARDWAREANDNETWORKRESOURCES,ANDHELPSKEEPTHECRAWLMOREUPTODATETHEFOCUSCDCRAWICRHASTHREEMAINCOMPONENTSACLASSIFICR,WHICHMAKESRELEVANCCJUDGMENTSONPAGES,CRAWLEDTODECIDEONLINKEXPANSION,ADISTILLERWHICHDELEMUNESAMEASUREOFCENTRALITYOFCRAWLEDPAGESTODETERMINEVISITPRIORITIES,ANDACRAWLERWITHDYNAMICALLYRECONFIGURABLCPRIORITYCONTROLSWHICHISGOVERNEDBYTHECLASSIFICRANDDISTILLERIHCMOSTCRUCIALEVALUATIONOFFOCUSCDCRAWLINGISTOMEASURETHEHARVESTRALIO,WHICHISRALEALWHICHRELEVANTPAGESAREACQUIREDAIUIIRRELEVANTPAGESARCEFFECTIVELYFILTEREDOFFFROMIHECRAWLTHISHARVESLRATIOMUSLBEHIGH,OTHERWISETHEFOCUSEDCRAWLERWOULDSPENDALOTOFLIMEMERELYELIMINATINGIRRELEVANTPAGES,ANDITMAYBEBETTERLOUSEANORDINARYCRAWICRINSTEAD17BDISTRIBUTEDCRAWLINGINDEXINGTHEWEBISACHALLENGEDUETOITSGROWINGANDDYNAMICNATUREASIHCSIZEOFIHCWEBISGROWINGITHASBECOMEIMPERATIVETOPARALLELIZETHECRAWLINGPROCESSINORDERTOFINISHDOWNLOADINGIHEPAGESINAREASONABLEAMOUNTOFTIMEASINGLECRAWLINGPROCESSEVENIFMULTITHRCADMGISUSEDWILLBEINSUFFICIENTFORLARGESCALEENGINESTHATNEEDTOFETCHLARGEAMOUNTSOFDATARAPIDLYWHENASINGLECENTRALIZEDCRAWICRISUSEDALLTHEFETCHEDDATAPASSESTHROUGHASINGLEPHYSICALLINKDISLNBUTINGTHECRAWLINGACTIVITYVIAMULTIPLEMOCESSCSCANHELPBUILDASCALABLE,EASILYCONFIGURABLESYSTEM,WHICHISFAULTTOLERANTSYSTEMSPLITTINGIHELOADDECREASESHARDWAREREQUIREMENTSANDATIHCSAMELIMEINCREASESIHCOVERALLDOWNLOADSPEEDANDRELIABILITYIVACHTASKISPERFORMEDINAIULLYDISTRIBUTEDFASHION,THATIS,NOCCNTRALCOORDINATOREXISTS3JVIIROBLKMOFSELRCTINGMORI“INITIRFSHNCI”O(jiān)BJECTSASCARCHENGINEISAWAREOFHOTTOPICSBCCAUSCILCOLLCCTSUSERQUERIESTHECRAWLINGPROCCSSPNONTIZESURLSACCORDINGLOANIMPORTANCEMETRICSUCHASSIMILARITYLOADRIVINGQUERY,BACKLINKCOUNT,PAGERANKORTHEIRCOMBMATIONSARIATIONS8J,9JRCCCNLLYNAJORKCLALSHOWEDTHATBRCADLHFIRSLSCARCHCOLLECTSHIGHQUALITYPAGESFIRSTANDSUGGESTEDAVARIANTOFPAGERANK10HOWEVER,ALIHEMOMENT,SEARCHSTRATEGIESAREUNABLETOEXACTLYSELECTTHEBEST”PATHSBECAUSE丨HEIRKNOWLEDGEISONLYPARTIALDUETOTHEENORMOUSAMOUNTOFINFORMATIONAVAILABLEONTHEINTERNETATOTALCRAWLINGISATTHEMOMENTIMPOSSIBLE,THUS,PRUNESTRATEGIESMUSTBEAPPLIEDFOCUSEDCRAWLING11,12ANDINTELLIGENTCRAWLING13J,ARETECHNIQUESFORDISCOVERINGWEBPAGESRELEVANTLOASPECIFICTOPICORSCLOFTOPICS14CONCLUSIONINTHISPAPERWECONCLUDETHALCOMPLETEWEBCRAWLINGCOVERAGECANNOTBEACHIEVED,DUELOIHEVASTSIZEOFIHEWHOLEWWWANDTORESOURCEAVAILABILITYUSUALLYAKINDOFTHRESHOLDISSETUPNUMBEROFVISITEDURLS,LEVELINIHCWEBSILETREE,CONIPLIANCCWITHATOPIC,ETCLOLIMITIHCCRAWLINGPROCESSOVERASELCCLCDWCBSILCTHISINFOMIALIONISAVAILABLEINSCARCHENGINESTOSLORE/REFRCSHMOSTRELEVANTANDUPDATEDWEBPAGES,THUSIMPROVINGQUALITYOFRETRIEVEDCONTENTSWHILEREDUCINGSTALECONTCNTANDMISSINGPAGESREFERENCES1GARCIAMOLINA,HECTORSEARCHINGIHCWEBAUGUST2001HLLP/OAKCSUCLAEDU/CHOPAPERII/CHOLOIL01PDF2GROSSAN,B“SCARCHENGINESWHATTHEYARC,HOWTHEYWORK,ANDPRACTICALSUGGESTIONSFORGETTINGIHCMOSTOUTOFTHEM,”FEBRUARY19973HTTP/WWWWEBRCFCRCNCCCOM4BALDI,PIERREMODELINGTHERNTEMCTANDTHEWEBIROBABILISTICMETHODSANDALGORITHMS,20035PANT,GAULAM,PADMINISRINIVASAIIANDFILIPPOMEIICZERCRAWLINGIHEWEB,20036JHTTPDOLLARBIZUIOWAEDU/PANTTAPERSCRAWLINGPDF7CHAKRABARLI,SOUMCNMININGIHCWEBANALYSISOFHYPERTEXTANDSENUSTRUCTUREDDATA,20038JHLTP/WWWGOOGLECOIN/9JMARINABUZZI,COOPERATIVECRAWLINGPROCEEDINGSOFTHEFIRSTLATINAMERICANWEBCONGRESSLAWEB20030769520588/031700K2003IEEE10JCHOHGARCIAMOIINA,LPAGE,“ELLKICNLCRAWLINGIHROUGHLRRLORDERING”WWW7COMPUTERNETWORKS3017161172199811ARASU,JCHO,IIGARCIAMOIINA,APAEPCKC,SRAGHAVAN,“SEARCHINGIHCWEB”，ACMTRANSACTIONSONINTERNETTCCHNOLOGV,VOLI,NUMI,AUGUST200I,PP24312JMNAJORKJWIENER,“BREADTHFIRSTCRAWLINGYIELDSHIGHQUALITYPAGES”，WWW2001PPIN118第二II怡息技術雜國學術“挑戰(zhàn)和機會”研討會論文集探討搜索引擎爬蟲MPSBHATIA，DIVYAGUPTA內塔告薩布哈技術研究所，印度徳H1大學M德里工程紀念中學，印度徳狙大學隨蔚網(wǎng)絡難以想象的急劇擴張，從WEB屮提取知識逐漸正在成為一個受歡迎的茁耍途徑。這是山于網(wǎng)絡的便利性和豐富性信息。通常需要使川鵝于網(wǎng)絡爬行的搜索引擎來找到我們黹要的網(wǎng)頁。本文描述了搜尜引擎的媧本丁作任務。概述了搜尜I擎與網(wǎng)絡爬蟲之間的聯(lián)系。關鍵詞爬行，集中爬行，網(wǎng)絡爬蟲1導言在網(wǎng)絡上WWW是一種服務，駐留在連接到互聯(lián)網(wǎng)的電腦1,并允許最終相戶訪問該楚用標準的接U軟件的計算機中存儲的數(shù)據(jù)。萬維網(wǎng)楚獲取訪問網(wǎng)絡信息的宇宙，是人類知識的體現(xiàn)。搜索引擎是一個計算機程序，它能夠從網(wǎng)丨搜索并掃描特定的關鍵字,尤其是商業(yè)服務，返冋的它們發(fā)現(xiàn)的資料消單。抓取搜索引擎數(shù)據(jù)庫的倍怠主要通過接收想要發(fā)表自U作品的作家的淸單成者通過“網(wǎng)絡爬蟲”、“蜘蛛”或“機器人”M互聯(lián)網(wǎng)捕捉他們訪W過的頁面的相太鏈接和信息。M絡爬蟲是一個能自動獲取萬維網(wǎng)的信息程序。M頁檢尜丨32】是一個要的研究課題。爬蟲是軟件組件，它訪問網(wǎng)絡中的樹結構，按照定的策略，搜索并收集當?shù)貛熘袡z索對象。本文的其余部分組織如下第節(jié)中，我們解釋了WEB爬蟲的竹梁細節(jié)。在第3節(jié)，我們討論爬蟲的類型，在第4節(jié)我們將介紹網(wǎng)絡爬蟲的工作原理。在第5節(jié)，我們搭建兩個網(wǎng)絡爬蟲的先進技術。在第6節(jié)我們討論如何挑選更有趣的網(wǎng)頁的問題。2調查網(wǎng)絡爬蟲網(wǎng)絡爬蟲兒乎同闞絡本身一樣古老。第一個爬蟲，H修格黹流浪者，寫F1993年，人約正好與首次發(fā)布的OCSAMOSAIC網(wǎng)絡同時發(fā)布在最初的兩次萬維網(wǎng)會議丨發(fā)表了許多關于網(wǎng)絡爬蟲的文章。然而,在3時，網(wǎng)絡比起現(xiàn)在要小上到四個數(shù)頊級，所以這些系統(tǒng)沒有處現(xiàn)好3今網(wǎng)絡中一次爬M屮同打的縮放問題。顯然所冇常用的搜索引擎使用的爬M程序必須擴展到網(wǎng)絡的實質性部分。H足，山于搜索引擎是一項競爭性質的業(yè)務，這些抓取的設計并沒有公開描述。有兩個明顯的例外谷歌瓶帶式和網(wǎng)絡襠案腹帶式。不幸的是，說明這些文獻屮的爬蟲程序是太簡潔以至于能夠進行重復。原芥歌爬蟲（在斯圯福大學幵發(fā)的）組件包括五個功能不同的運行流程。服務器進程讀取一個文件的URL出來然后通過履帶式轉發(fā)到多個進程。每個履帶進程運行在不同的機器，是單線程的，使川異步I/O釆用并行的模式從敁多300個網(wǎng)站來抓取數(shù)據(jù)。爬蟲傳輸下載下載的頁面到一個能進行網(wǎng)KFR縮和存儲的存儲服務器進程。然后這呰網(wǎng)頁山一個索引程序進行解讀從HTML頁面中提取鏈接并將他們保存到、同的磁盤文件中。一個URL解析器進程讀取鏈接文件，并將相對的網(wǎng)址進行存儲,并保存了完整的URL到磁盤文件然后就可以進行讀取了。逝常悄況下，W為辛叫個爬蟲程序被使用,所以盤個系統(tǒng)需要四到八個完整的系統(tǒng)。在答歌將網(wǎng)絡爬蟲轉變成為一個商業(yè)成果之后在斯坦福大學仍然在進行這方面的研究。斯坦福WEBBASE項11已實施一個高性能的分布式爬蟲，具苻毎秒可以下載50至10021件文件的能力。趙等人乂發(fā)展了文件更新頻率的模型以報吿爬行下載計劃的增量?；ヂ?lián)網(wǎng)襠案館還利用多臺機器來檢尜網(wǎng)頁每個爬蟲程序被分配到64個站點進行檢索，并沒有網(wǎng)站被分配到一個以上的爬蟲。每個單線程爬1U程序讀取其指定網(wǎng)站網(wǎng)址列表的種了從磁盤到每個站點的隊列，然后用異步I/O來從這些隊列同時抓取網(wǎng)頁一M個頁面下載完平，爬蟲提取包含在真中的鏈接。如果一個鏈接提到它波包含在網(wǎng)頁中的網(wǎng)站,它被添加到適尚的站點排隊杏則被記錄到磁盤中。每隔一段時間，合并成一個批處理程序的W體地點的種子設置這搜記讀“跨網(wǎng)站“的網(wǎng)址過濾掉進程中的取復項。WEBFOUNTAIN爬蟲程序分莩了禺卡托結構的兒個特點它是分布式的，連續(xù)（作者使用術語“增螢“），有禮貌，可配置的。不幸的足，M這篇文章，WEBFOUNTAIN逛在其發(fā)展的期階段，并尚未公布其性能數(shù)據(jù)。3搜索引擎基本類型A蕋于爬蟲的搜索引擎騅于爬蟲的搜索引擎自動創(chuàng)建自匕的淸單。計算機程序“蜘蛛”建立他們沒有通過人的選樣31。他們不逛通過學術分類進行組織，而是通過計算機算法把所打的網(wǎng)頁排列出來。這種類型的搜索引擎杵往足巨大的，常常能取得了大笊的信息它允許鉍雜的搜索范闌內搜索以前的搜索的結果，使你能夠改進搜索結果。這種類沏的搜索引擎包含了網(wǎng)K中所釘?shù)逆溄?。所以人們可以通過卩L配的單詞找到他們想要的網(wǎng)莧。B人力頁面目錄這是通過人類選擇建造的，即他們依賴人類創(chuàng)建列表。他們以主題類別和科1丨做闞頁的分類。人力驅動的同朵，永遠不會包含他們網(wǎng)貞所釘鏈接的。他們婼小于大多數(shù)搜索引擎。C混合搜索引擎一種混合搜索引擎以傳統(tǒng)的文字為導問，如谷歌搜索引擎，如雅虎網(wǎng)錄為貓礎的搜索引擎，中每個方案比較操作的元數(shù)據(jù)集不同，當苒元數(shù)據(jù)的主要資料來自一個網(wǎng)絡爬蟲或分類分析所苻互聯(lián)網(wǎng)文字和用廣的搜尜作詢。U此相反，混合搜索引擎可能苻一個或多個元數(shù)據(jù)集，例如，包拈來自客戶端的網(wǎng)絡元數(shù)據(jù)，將所得的悄境模型中的客戶端上下文元數(shù)據(jù)的來認識這兩個機構。4爬蟲的工作原理網(wǎng)絡爬蟲是搜索引擎必不可少的組成部分運行一個網(wǎng)絡爬IU是一個極丨4挑戰(zhàn)性的任務。有技術和可靠性問題，更琨要的是打社會問題。爬蟲楚敁脆弱的成程序，因為它涉及到交互的兒L【F兒丁個WEB服務器和各種域名服務器，這些都人人超出了系統(tǒng)的控制。網(wǎng)頁檢索速度不僅山一個人的自己的互聯(lián)網(wǎng)連接速度，W時也受到了要抓取的網(wǎng)站的速度。特別是如個楚從多個服務器抓取的網(wǎng)站，總爬行時丨吋以大大減少如果許多下載是并行完成。ILL然行眾多的網(wǎng)絡爬蟲應用程序，他們在核心內容上搖本丨楚相同的。以下足應用程序網(wǎng)絡爬蟲的工作過程1、下載網(wǎng)頁。2、通過下載的面解析和檢索所存的聯(lián)系。3、對于每一個環(huán)節(jié)檢索，重復這個過程。網(wǎng)絡爬蟲可川于通過對完整的網(wǎng)站的局域網(wǎng)進行抓取。您可以指定一個沿動程序爬蟲跟隨在HTML頁屮找到的所釘鏈接。這通常導致更多的鏈接，這之后將再次跟隨，等等。個網(wǎng)站可以被視為一個樹狀結構釕根本是I動裎序，在這根的HTML貝的所苻鏈接楚根丫鏈接。隨后循環(huán)獲得史多的鏈接。一個網(wǎng)頁服務器提供若T網(wǎng)址淸單給爬蟲。網(wǎng)絡平爬蟲幵始通過解析一個指定的網(wǎng)頁，標注該網(wǎng)頁中指向其他網(wǎng)站頁面的超文本鏈接。然后他們分析這些網(wǎng)頁之間新的聯(lián)系等等循環(huán)。網(wǎng)絡爬蟲軟件_個實際移動到各地不閜的互聯(lián)網(wǎng)上的電腦，而是像電腦病海一樣通過智能代理進行。每個爬蟲毎次大概打幵大約300個鏈接。這是檢索網(wǎng)頁必須的足夠快的速度。一個爬蟲駐留在一臺機器。爬蟲只是簡中的將的HTTP請求的文件發(fā)送到互聯(lián)網(wǎng)上的其他機器，就像一個網(wǎng)上瀏覽器的鏈接，當用戶點擊。所夼的爬蟲事實上是自動化追尋鏈接的過程。網(wǎng)頁檢索可被視為一個隊列處理的項0O當檢索器訪問一個網(wǎng)頁，它提取到其他網(wǎng)頁的鏈接。因此，爬也晉身于這狴網(wǎng)址的一個隊列的末尾，并繼續(xù)爬行到下一個網(wǎng)頁，然后它從隊列的前面刪除。A資源約束爬行消耗資源下載闞貝的帶寬，支持私人數(shù)據(jù)結構存儲的內存來評價和選折網(wǎng)址的CPU，以及存儲文本和鏈接以及K他持久性數(shù)據(jù)的磁盤存儲。B機器人協(xié)議機器人文件給出排除一部分的網(wǎng)站被抓取的指令。類似地，一個簡單的文本文件可以提供對關的新鮮和出版對象的流行信息，此信息允許抓取工具優(yōu)化其收集的數(shù)據(jù)刷新策略以及更換對象的政策。C元搜索引擎一個元搜索引擎茫種沒奵它自D的的網(wǎng)頁數(shù)據(jù)庫的搜索引擎。它發(fā)出的搜索字同他搜索引擎所衍的數(shù)據(jù)庫，從所饤的搜索引擎來杏詢并為用廣提供的結果。較少的元搜尜“F以讓您深入到煅人敁行丨TI的搜索引擎數(shù)據(jù)庫。他們往往返M小成免費的搜索引擎和其他免費丨丨朵并H通常足小和高度商業(yè)化的結。5爬行技術A主題爬行一個通川的網(wǎng)絡爬蟲根據(jù)一個URL的特點設置來收集網(wǎng)頁。凡為生題爬蟲的設計只收集苻一個特定的主題的文件，從而減少