搜索引擎性能評價(jià)報(bào)告(共4頁)

1、實(shí)驗(yàn)：搜索引擎性能評價(jià)小組成員：黃婷 蘇亮肖 方定山 一、實(shí)驗(yàn)?zāi)康模阂罁?jù)MAP，P10，MRR等評價(jià)指標(biāo)對各個(gè)搜索引擎（百度、搜狗、必應(yīng)）的查詢性能進(jìn)行評測，對搜索引擎滿足不同信息需求的情況加以比較。二、實(shí)驗(yàn)方案：1.構(gòu)建查詢樣例集合：（1）構(gòu)建查詢樣例集合規(guī)模：100個(gè)查詢熱門程度：冷門/熱門類型：導(dǎo)航類/信息類/事務(wù)類（2：5：3）（2）根據(jù)個(gè)人經(jīng)驗(yàn)，撰寫每個(gè)查詢樣例的信息需求內(nèi)容 2.構(gòu)建Pooling：（1）抓取各個(gè)搜索引擎對步驟一查詢詞的查詢結(jié)果 抓取的搜索引擎：五個(gè)中文搜索引擎(百度、搜狗、必應(yīng))抓取范圍：查詢結(jié)果的前30位結(jié)果注：pooling method的大概意思是查詢結(jié)果去

2、重3.構(gòu)造標(biāo)準(zhǔn)答案集合：（1）根據(jù)步驟1中撰寫好的信息需求，對Pooling里的結(jié)果進(jìn)行標(biāo)注，標(biāo)注為“答案”和“非答案”兩類即可4.查詢性能評價(jià)：（1）根據(jù)標(biāo)注結(jié)果，依據(jù)MAP，P10，MRR等評價(jià)指標(biāo)對各個(gè)搜索引擎的查詢性能進(jìn)行評價(jià)（2）對搜索引擎滿足不同信息需求的情況加以比較5.擴(kuò)展內(nèi)容：（1）可以嘗試對搜索引擎處引擎處理非中文查詢、有錯(cuò)別字查詢等情況的不同策略進(jìn)行分析、比較三、實(shí)驗(yàn)結(jié)果及分析：根據(jù)實(shí)驗(yàn)結(jié)果及目的，詳細(xì)分析實(shí)驗(yàn)結(jié)果。1.實(shí)驗(yàn)結(jié)果：百度：百度MAPP10MRR導(dǎo)航類（平均）0.5720.7020.597信息類（平均）0.6130.7180.665事務(wù)類（平均）0.5410.5

3、130.562綜合（平均）0.5750.6440.608搜狗： 搜狗MAPP10MRR導(dǎo)航類（平均）0.3560.2800.745信息類（平均）0.6240.5140.911事務(wù)類（平均）0.7210.7101綜合（平均）0.5670.5010.885Bing國內(nèi)版：BingMAPP10MRR導(dǎo)航類（平均）0.4870.5350.495信息類（平均）0.5310.5600.522事務(wù)類（平均）0.5480.5700.562綜合（平均）0.5220.5550.526綜合比較：搜索引擎MAPP10MRR百度Baidu0.5750.6440.608搜狗Sougou0.5670.5010.885必應(yīng)B

4、ing0.5220.5550.5262.結(jié)果分析：（1）導(dǎo)航類搜索詞對于導(dǎo)航類搜索關(guān)鍵詞，RR一般用作評價(jià)導(dǎo)航類的查詢需求，用于表示用戶在知道目標(biāo)前需要瀏覽的結(jié)果數(shù)目，可以看到，搜狗事務(wù)類的MRR指標(biāo)偏高，可以發(fā)現(xiàn)，當(dāng)用戶想要搜索的信息為已知資源，主頁，資源等信息時(shí)，搜索引擎可能會(huì)更傾向于返回給用戶一些官方的主頁信息，以使用戶能夠盡快找到目標(biāo)，對于導(dǎo)航類信息的其他指標(biāo)，相差也不大，但是P10的指標(biāo)值差異有些明顯，搜狗和百度的P10值是較好的，而必應(yīng)的結(jié)果則稍差，查看原始搜索結(jié)果標(biāo)記，三大搜索引擎都加入了對應(yīng)的百科，問答平臺(tái)，而必應(yīng)的結(jié)果還夾雜了不少“同名的廣告”，以“清華大學(xué)oj”詞條為例，必

5、應(yīng)的結(jié)果中有不少標(biāo)題雖是“清華大學(xué)oj”等信息，但實(shí)際是一些培訓(xùn)機(jī)構(gòu)的頁面，必應(yīng)并沒有做這方面的剔除，使得結(jié)果首頁多了不少奇怪的“廣告”，影響了搜索體驗(yàn)。（2）信息類搜索詞信息類數(shù)據(jù)是用戶搜索需求中占比最大的，用戶的關(guān)注點(diǎn)在于結(jié)果的全面和權(quán)威性，對于這類搜索詞，搜索引擎多數(shù)會(huì)給出其問答平臺(tái)的結(jié)果，相關(guān)新聞結(jié)果，或者百科結(jié)果。對于信息類關(guān)鍵詞，P10是評價(jià)其搜索性能的較好指標(biāo)，百度的數(shù)據(jù)在70%左右，而必應(yīng)和搜狗在50%60%左右，可見在中文搜索中，百度的確做得比較好，對于大多數(shù)信息類搜索詞，百度的結(jié)果足夠全面。對于新聞?lì)惖男畔?，三大搜索引擎結(jié)果差別并不是特別大，但是對于一些知識類信息，或者生活

6、類信息的搜索，必應(yīng)和搜狗的表現(xiàn)則差強(qiáng)人意，以“奔馳 寶馬”關(guān)鍵詞為例，用戶的搜索需求是查詢奔馳寶馬的區(qū)別，百度的結(jié)果大體上與之相符，而搜狗和必應(yīng)除了少數(shù)兩三條結(jié)果與之相關(guān)，多數(shù)結(jié)果只與寶馬有關(guān)，而且會(huì)夾雜許多銷售商的廣告，可以推測是由于搜索引擎的分詞和聯(lián)合搜索系統(tǒng)的處理方式的差異。（3）事務(wù)類搜索詞事物類搜索詞中，百度的結(jié)果優(yōu)勢不是那么明顯，甚至略差，搜狗的結(jié)果則稍微更好一些， 這里差異較大的詞條是“韓劇播放”這個(gè)搜索詞條，其實(shí)這個(gè)詞條是一個(gè)坑，一般來說這類資源可能在互聯(lián)網(wǎng)上很雜不準(zhǔn)確，因此很多數(shù)據(jù)可能其實(shí)是廣告或者一些死鏈接，這時(shí)可能更需要搜索引擎去剔除一些不必要的結(jié)果以幫助用戶完成其任務(wù)需

7、求，必應(yīng)的結(jié)果大多數(shù)是軟件下載地址的鏈接，而百度的結(jié)果則包含了各種不同的站點(diǎn)，這些站點(diǎn)大多數(shù)是廣告等非用戶目標(biāo)站點(diǎn)，可能是出于廣告費(fèi)等方面的考慮吧，使得其結(jié)果表現(xiàn)并不好。（4）冷熱門對于熱門數(shù)據(jù)，三大搜索引擎的表現(xiàn)都比較好，冷門數(shù)據(jù)百度表現(xiàn)依然較好，而必應(yīng)和搜狗的性能則有所下降，一方面可能是由于百度的市場占有率更大，用戶更多，能夠獲取到的用戶數(shù)據(jù)也更多更全面，即使是冷門搜索詞由于有較大的用戶基數(shù)也能得到較好地反饋結(jié)果，另一方面，百度的數(shù)據(jù)抓取可能更全面，對于不同類別的搜索詞，百度的P10指標(biāo)均能達(dá)到近70%，可見其數(shù)據(jù)是比較齊全的，這也給其冷門搜索詞的搜索提供的數(shù)據(jù)。四、實(shí)驗(yàn)總結(jié)：總結(jié)實(shí)驗(yàn)中存

8、在的問題。1.總體的數(shù)據(jù)由統(tǒng)計(jì)結(jié)果分析，從總體來看，在各項(xiàng)指標(biāo)中，百度是三個(gè)搜索引擎中表現(xiàn)最好的,搜狗的性能次之，而必應(yīng)的結(jié)果則稍差一些。2. 通過本次實(shí)驗(yàn)，深入理解和掌握了信息檢索性能評價(jià)單個(gè)查詢的評價(jià)指標(biāo)precision、recall的計(jì)算方法，并通過比較P-R曲線和插值圖來比較百度、必應(yīng)、搜狗的單個(gè)查詢的檢索性能，完成了實(shí)驗(yàn)內(nèi)容，達(dá)到了實(shí)驗(yàn)?zāi)康摹?.在實(shí)驗(yàn)中，也發(fā)現(xiàn)了 P-R曲線評價(jià)單個(gè)查詢的檢索性能存在一些缺點(diǎn)。一方面，對于像搜索引擎這樣有著大規(guī)模文檔的數(shù)據(jù)庫，每個(gè)查詢詞的相關(guān)文檔數(shù)難以確定，檢索結(jié)果是否與查詢詞相關(guān)也難以確定，不同的人有不同的看法，所以難以準(zhǔn)確計(jì)算召回率和正確率。另一方面，因?yàn)橄到y(tǒng)的數(shù)據(jù)集合是動(dòng)態(tài)的，一個(gè)查詢詞的P-R不能反映搜索引擎的檢索性能，P-R只能反映某一時(shí)間系統(tǒng)針對某一個(gè)查詢詞的檢索性能。4.另外，了解到目前針對大規(guī)模語料集合召回率難以計(jì)算問題解決的的方法是緩沖池(Pooling)方法：對多個(gè)檢索系統(tǒng)的TopN個(gè)結(jié)果組成的集合進(jìn)行標(biāo)注，標(biāo)注出的相關(guān)文檔集合作為整個(gè)相關(guān)文檔集合。實(shí)驗(yàn)中也發(fā)現(xiàn)，雖然準(zhǔn)確率和召回率沒有明顯的相關(guān)關(guān)系，