信息檢索技術(shù)發(fā)展報(bào)告

1、信息檢索技術(shù)發(fā)展報(bào)告Report of Artificial Intelligence Development PAGE 2 PAGE 3目 錄 TOC o 1-3 h z u HYPERLINK l _Toc26823918 1.信息檢索與推薦 PAGEREF _Toc26823918 h 3 HYPERLINK l _Toc26823919 1.1.信息檢索與推薦概念 PAGEREF _Toc26823919 h 3 HYPERLINK l _Toc26823920 1.2.信息檢索和推薦技術(shù)發(fā)展歷史 PAGEREF _Toc26823920 h 5 HYPERLINK l _Toc268

2、23921 信息檢索 PAGEREF _Toc26823921 h 5 HYPERLINK l _Toc26823922 1.3.人才概況 PAGEREF _Toc26823922 h 345 HYPERLINK l _Toc26823923 1.4.論文解讀 PAGEREF _Toc26823923 h 347 HYPERLINK l _Toc26823924 1.5.信息檢索與推薦進(jìn)展 PAGEREF _Toc26823924 h 362信息檢索與推薦信息檢索與推薦概念信息檢索R.Baeza-Yates 教授在其著作現(xiàn)代信息檢索中中指出， 信息檢索（Information Retrieva

3、l，IR）是計(jì)算機(jī)科學(xué)的一大領(lǐng)域，主要研究如何為用戶訪問他們感興趣的信息提供各種便利的手段，即：信息檢索涉及對(duì)文檔、網(wǎng)頁(yè)、聯(lián)機(jī)目錄、結(jié)構(gòu)化和半結(jié)構(gòu)化記錄及多媒體對(duì)象等信息的表示、存儲(chǔ)、組織和訪問， 信息的表示和組織必須便于用戶訪問他們感興趣的信息 HYPERLINK l _bookmark129 77。在范圍上，信息檢索的發(fā)展已經(jīng)遠(yuǎn)超出了其早期目標(biāo)，即對(duì)文檔進(jìn)行索引并從中尋找有用的文檔。如今，信息檢索的研究包括用戶建模、Web 搜索、文本分析、系統(tǒng)構(gòu)架、用戶界面、數(shù)據(jù)可視化、過濾和語(yǔ)言處理等技術(shù)。信息檢索的主要環(huán)節(jié)包括信息內(nèi)容分析與編碼、組成有序的信息集合以及用戶提問處理和檢索輸出。其中信息提

4、問與信息集合的匹配、選擇是整個(gè)環(huán)節(jié)中的重要部分。當(dāng)用戶向系統(tǒng)輸入查詢時(shí)，信息檢索過程開始，接著用戶查詢與數(shù)據(jù)庫(kù)信息進(jìn)行匹配。返回的結(jié)果可能是匹配或不匹配查詢，而且結(jié)果通常被排名。大多數(shù)信息檢索系統(tǒng)對(duì)數(shù)據(jù)庫(kù)中的每個(gè)對(duì)象與查詢匹配的程度計(jì)算數(shù)值分?jǐn)?shù)，并根據(jù)此值進(jìn)行排名，然后向用戶顯示排名靠前的對(duì)象，信息檢索框架如下圖所示。圖 14-1 信息檢索系統(tǒng)流程推薦系統(tǒng)推薦系統(tǒng)（Recommendation System，RS）是指信息過濾技術(shù)，從海量項(xiàng)目（項(xiàng)目是推薦系統(tǒng)所推薦內(nèi)容的統(tǒng)稱，包括商品、新聞、微博、音樂等產(chǎn)品及服340341務(wù)）中找到用戶感興趣的部分并將其推薦給用戶，這在用戶沒有明確需求或者項(xiàng)目

5、數(shù)量過于巨大、凌亂時(shí)，能很好地為用戶服務(wù)，解決信息過載問題 HYPERLINK l _bookmark130 78。如下圖所示，一般推薦系統(tǒng)模型流程通常由 3 個(gè)重要的模塊組成：用戶特征收集模塊，用戶行為建模與分析模塊，推薦與排序模塊。推薦系統(tǒng)通過用戶特征收集模塊收集用戶的歷史行為，并使用用戶行為建模和分析模塊構(gòu)建合適的數(shù)學(xué)模型分析用戶偏好，計(jì)算項(xiàng)目相似度等，最后通過推薦與排序模塊計(jì)算用戶感興趣的項(xiàng)目，并將項(xiàng)目排序后推薦給用戶 HYPERLINK l _bookmark131 79。圖 14-2 推薦系統(tǒng)模型流程聯(lián)系與區(qū)別信息的檢索與推薦都是用戶獲取信息的手段，無論是在互聯(lián)網(wǎng)上，還是在線 下的

6、生活場(chǎng)景里，這兩種方式都大量并存，兩者之間的關(guān)系是互補(bǔ)的：搜索引擎 需要用戶主動(dòng)提供準(zhǔn)確的關(guān)鍵詞來尋找信息，因此不能解決用戶的很多其他需求， 比如當(dāng)用戶無法找到準(zhǔn)確描述自己需求的關(guān)鍵詞時(shí)，搜索引擎就無能為力了。和 搜索引擎一樣，推薦系統(tǒng)也是一種幫助用戶快速發(fā)現(xiàn)有用信息的工具。與搜索引 擎不同的是，推薦系統(tǒng)不需要用戶提供明確的需求，而是通過分析用戶的歷史行 為給用戶的興趣建模，從而主動(dòng)給用戶推薦能夠滿足他們興趣和需求的信息。因 此，從某種意義上說，推薦系統(tǒng)和搜索引擎對(duì)于用戶來說是兩個(gè)互補(bǔ)的工具。搜 索引擎滿足了用戶有明確目的時(shí)的主動(dòng)查找需求，而推薦系統(tǒng)能夠在用戶沒有明 確目的的時(shí)候幫助他們發(fā)現(xiàn)感

7、興趣的新內(nèi)容。在實(shí)際生活中也有很多運(yùn)用。同時(shí)，信息的檢索與推薦也有著一定的區(qū)別，可以分為以下幾個(gè)方面：首先是主動(dòng)與被動(dòng)的不同。搜索是一個(gè)非常主動(dòng)的行動(dòng)，用戶的需求也十分明確，在搜索引擎提供的結(jié)果里，用戶也能通過瀏覽和點(diǎn)擊來明確的判斷是否滿足了用戶需求。然而，推薦系統(tǒng)接受信息是被動(dòng)的，需求也都是模糊而不明確的。其次是個(gè)性化程度的高低。搜索引擎雖然也可以有一定程度的個(gè)性化，但是整體上個(gè)性化運(yùn)作的空間是比較小的，因?yàn)楫?dāng)需求非常明確時(shí)，找到結(jié)果的好壞通常沒有太多個(gè)性化的差異。但是推薦系統(tǒng)在個(gè)性化方面的運(yùn)作空間要大很多， 雖然推薦的種類有很多，但是個(gè)性化對(duì)于推薦系統(tǒng)是非常重要，以至于在很多時(shí)候大家索性就

8、把推薦系統(tǒng)稱為“個(gè)性化推薦”甚至“智能推薦”。再次就是需求時(shí)間不同。在設(shè)計(jì)搜索排序算法里，需要想盡辦法讓最好的結(jié)果排在最前面，往往搜索引擎的前三條結(jié)果聚集了絕大多數(shù)的用戶點(diǎn)擊。簡(jiǎn)單來說，“好”的搜索算法是需要讓用戶獲取信息的效率更高、停留時(shí)間更短。但是推薦恰恰相反，推薦算法和被推薦的內(nèi)容往往是緊密結(jié)合在一起的，用戶獲取推薦結(jié)果的過程可以是持續(xù)的、長(zhǎng)期的，衡量推薦系統(tǒng)是否足夠好，往往要依據(jù)是否能讓用戶停留更多的時(shí)間，對(duì)用戶興趣的挖掘越深入，越“懂”用戶，那么推薦的成功率越高，用戶也越愿意留在產(chǎn)品里。最后是評(píng)價(jià)方法不同。搜索引擎通?；?Cranfield 評(píng)價(jià)體系，整體上是將優(yōu)質(zhì)結(jié)果盡可能排到搜

9、索結(jié)果的最前面，讓用戶以最少的點(diǎn)擊次數(shù)、最快的速度找到內(nèi)容是評(píng)價(jià)的核心。而推薦系統(tǒng)的評(píng)價(jià)要寬泛很多，既可以用諸如 MAP（Mean Average Precision）的常見量化方法評(píng)價(jià)，也可以從業(yè)務(wù)角度進(jìn)行側(cè)面評(píng)價(jià) HYPERLINK l _bookmark132 80。信息檢索和推薦技術(shù)發(fā)展歷史信息檢索信息檢索的目的是獲取所需信息，而這要基于比較完善的檢索技術(shù)，用戶需 求的變化和信息技術(shù)的進(jìn)步對(duì)信息檢索的發(fā)展有著重要的影響。根據(jù)技術(shù)的演化， 我們將信息檢索發(fā)展歷程分為三個(gè)階段：（1）數(shù)字圖書館文檔電子化時(shí)代 PAGE 348 PAGE 3491954 年，Vannevar Bush（范內(nèi)瓦

10、布什）在“Atlantic Monthly”7 月號(hào)發(fā)表了一篇名為“As We May Think”的文章，這篇文章影響了幾代的計(jì)算機(jī)科學(xué)家。文章提到：“未來人們能夠?qū)崿F(xiàn)對(duì)海量圖書資源（1M）進(jìn)行快速的訪問”。概括出了信息檢索在數(shù)字圖書館時(shí)代的特征，即對(duì)文檔全文內(nèi)容的快速檢索。范內(nèi)瓦布什在擔(dān)任美國(guó)科學(xué)研究與發(fā)展辦公室主任期間推進(jìn)了美國(guó)軍隊(duì)研究機(jī)構(gòu)與高校研究機(jī)構(gòu)的合作，正是當(dāng)時(shí)在這種合作關(guān)系中發(fā)揮最重要影響的三所大學(xué)（哈佛大學(xué)、麻省理工學(xué)院、加州大學(xué)伯克利分校）與后來成立的美國(guó)國(guó)防部高等研究計(jì)劃署（ARPA）合作開發(fā)出了互聯(lián)網(wǎng)的雛形：ARPANET。圖 14-3 范內(nèi)瓦布什（1890-1974）

11、1957 年 ，Luhn 在 論 文 “A Statistical Approach to Mechanized Encoding and Searching of Literary Information”里提到“a writer chooses that level of subject specificity and that combination of words which he feels will convey the most meaning.”，這是一種以單詞作為索引單元的文檔檢索方法。20 世紀(jì) 60 年代，Gerard Salton 創(chuàng)造了信息檢索系統(tǒng) SMART（Sa

12、ltons Magic Automatic Retrieval of Text），推進(jìn)了信息檢索相關(guān)研究的水平提升。SMART 系統(tǒng)并非搜索引擎，但它具備搜索引擎所具有的文本索引、查詢處理、結(jié)果排序等功能。20 世紀(jì) 60 年代后期另外兩個(gè)研究領(lǐng)域需要提及。第一個(gè)是 Julie Beth Lovins 于 1968 年在麻省理工學(xué)院開發(fā)的詞干算法（Stemming Algorithm）；另一個(gè)研究涉及評(píng)估指標(biāo)，例如 William Cooper 在 1968 年提出的“Cooper”，這個(gè)度量標(biāo)準(zhǔn)目前已在多個(gè)應(yīng)用程序中大量使用。在數(shù)字圖書館時(shí)代，信息檢索技術(shù)主要應(yīng)用于封閉數(shù)據(jù)集合、單機(jī)模式或?qū)?/p>

13、網(wǎng)內(nèi)的主機(jī)-終點(diǎn)模式，在商業(yè)應(yīng)用方面，則是提供軟件/解決方案，專網(wǎng)內(nèi)的查詢服務(wù)。（2）早期互聯(lián)網(wǎng)時(shí)代 隨著信息技術(shù)的爆炸式發(fā)展，信息檢索的發(fā)展發(fā)生了質(zhì)的飛躍。Tim Berners-Lee（蒂姆伯納斯李）基于尚未被商用的互聯(lián)網(wǎng)提出了萬維網(wǎng)（Web）的原型建議。1991 年 8 月，蒂姆伯納斯李在一臺(tái) NeXT 電腦上建立了第一個(gè)網(wǎng)站 HYPERLINK http:/nxoc01.cern.ch/ http： HYPERLINK http:/nxoc01.cern.ch/ /nxoc01.cern.ch/。他一直堅(jiān)持將公開和開放作為萬維網(wǎng)的靈魂。圖 14-4 蒂姆伯納斯李和他的 NeXT 電腦從

14、事檢索業(yè)務(wù)的公司隨著互聯(lián)網(wǎng)的發(fā)展而快速崛起，如雅虎、百度等。在眾多公司中，谷歌被公認(rèn)為全球最大的搜索引擎公司，其業(yè)務(wù)包括互聯(lián)網(wǎng)搜索、云計(jì)算、廣告技術(shù)，開發(fā)并提供大量基于互聯(lián)網(wǎng)的產(chǎn)品與服務(wù)。隨著互聯(lián)網(wǎng)的發(fā)展， 面對(duì)眾多雜亂無章的信息，如何對(duì)數(shù)以億計(jì)的相關(guān)網(wǎng)頁(yè)進(jìn)行排序成為搜索引擎算法的核心問題，為此谷歌開發(fā)出了著名的 PageRank 算法。PageRank 的主要原理是用鏈接數(shù)量作為搜索排序的一個(gè)因子。在互聯(lián)網(wǎng)上， 如果一個(gè)網(wǎng)頁(yè)被很多其他網(wǎng)頁(yè)所鏈接，說明它受到普遍的承認(rèn)和信賴，那么它的排名就高，這就是 PageRank 的核心思想。PageRank 算法將互聯(lián)網(wǎng)中大多數(shù)的網(wǎng)頁(yè)通過基于鏈接來計(jì)算網(wǎng)

15、頁(yè)質(zhì)量的方式進(jìn)行排名，為搜索引擎用戶提供較好的基于鏈接查詢的搜索結(jié)果，同時(shí)該算法能夠進(jìn)行離線分析處理，大大縮短了搜索引擎用戶的服務(wù)響應(yīng)時(shí)間，實(shí)屬計(jì)算機(jī)科學(xué)史上一項(xiàng)偉大成就，它以及其簡(jiǎn)明的邏輯，發(fā)明了迄今為止在搜索引擎領(lǐng)域還相當(dāng)有代表性的算法，解決了數(shù)以億計(jì)的網(wǎng)頁(yè)質(zhì)量評(píng)估問題，拋開它難以估量的商業(yè)價(jià)值不談，就說其學(xué)術(shù)方面，這種依靠數(shù)據(jù)自身結(jié)構(gòu)的學(xué)習(xí)方法，也依然還在當(dāng)前很多信息檢索領(lǐng)域啟發(fā)著我們。業(yè)界主要表現(xiàn)為第一代搜索引擎和第二代搜索引擎的出現(xiàn)，國(guó)外有 AltaVista、Excite、WebCrawler 和 Yahoo！，國(guó)內(nèi)有應(yīng)用于國(guó)防和安全領(lǐng)域的“天羅”和面向公眾提供服務(wù)的天網(wǎng)。第二代搜

16、索引擎的代表是 1998 年成立的 Google 和 2000年 1 月創(chuàng)建的中文搜索引擎百度。在百度之后，多家中文搜索引擎相繼出現(xiàn)， 例如中搜、搜狗、搜搜和有道。這個(gè)時(shí)期信息檢索的應(yīng)用形態(tài)的特征是開放的、大規(guī)模的、實(shí)時(shí)的、多媒體的，尤其巨型搜索引擎采集到的公開數(shù)據(jù)和用戶訪問日志等非公開數(shù)據(jù)深刻地影響著這一時(shí)期信息檢索領(lǐng)域的創(chuàng)新模式。（3）Web 2.0 時(shí)代 在 Web 2.0 時(shí)代，用戶對(duì) Web 有更深入的參與需求，這就對(duì)信息檢索提出了更高的要求。信息搜索的發(fā)展開始更加關(guān)注用戶需求，以實(shí)現(xiàn)內(nèi)容與行為的精準(zhǔn) Web 搜索。這個(gè)時(shí)期的信息檢索實(shí)現(xiàn)了內(nèi)容數(shù)據(jù)與社會(huì)各側(cè)面的電子化數(shù)據(jù)（萬維網(wǎng)、社

17、交網(wǎng)、物聯(lián)網(wǎng)、地理信息等）的全面融合；尤其是對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)的采集和大數(shù)據(jù)處理技術(shù)出現(xiàn)了社會(huì)化趨勢(shì)。信息推薦上個(gè)世紀(jì)最后二十年以來，互聯(lián)網(wǎng)的發(fā)展和普及為人們提供了一個(gè)全新的信息存儲(chǔ)、加工、傳遞和使用的載體，網(wǎng)絡(luò)信息也迅速成為了社會(huì)成員獲取知識(shí)和信息的主要渠道之一。一般認(rèn)為推薦系統(tǒng)的研究始于 1994 年明尼蘇達(dá)大學(xué)，Group Lens 研究組推出了 Group Lens 系統(tǒng)，該工作不僅首次提出了協(xié)同過濾的思想，并且為推薦問題建立了一個(gè)形式化的模型，為隨后幾十年推薦系統(tǒng)的發(fā)展帶來了巨大影響。之后，推薦系統(tǒng)的相關(guān)技術(shù)得到了進(jìn)一步發(fā)展和重視。1995 年 3 月，卡耐基梅隆大學(xué)的 Robert A

18、rmstrong 等人在美國(guó)人工智能協(xié)會(huì)提出了個(gè)性化導(dǎo)航系統(tǒng) Web Watcher；斯坦福大學(xué)的 Marko Balabanovic 等人在同一會(huì)議上推出了個(gè)性化推薦系統(tǒng) LIRA；1997 年，AT&T 實(shí)驗(yàn)室提出了基于協(xié)同過濾的個(gè)性化推薦系統(tǒng) PHOAKS 和 Referral Web；2000 年，NEC 研究院的 Kurt 等人為搜索引擎Cite Seer 增加了個(gè)性化推薦功能；2003 年，Google 開創(chuàng)了 AdWords 盈利模式， 通過用戶搜索的關(guān)鍵詞來提供相關(guān)的廣告。2007 年開始，Google 為 AdWords 添加了個(gè)性化元素，不僅僅關(guān)注單詞搜索的關(guān)鍵詞，而且對(duì)用

19、戶一段時(shí)間內(nèi)的推薦歷史進(jìn)行記錄和分析，據(jù)此了解用戶的喜好和需求，更為精確地呈現(xiàn)相關(guān)的廣告內(nèi)容。信息推薦系統(tǒng)的演變始終伴隨著網(wǎng)絡(luò)的發(fā)展，第一代信息推薦系統(tǒng)使用傳統(tǒng)網(wǎng)站從以下三個(gè)來源收集信息：來自購(gòu)買或使用過的產(chǎn)品的基礎(chǔ)內(nèi)容數(shù)據(jù)；用戶記錄中收集的人口統(tǒng)計(jì)數(shù)據(jù)；以及從用戶的項(xiàng)目偏好中收集的基于記憶的數(shù)據(jù)。第二代推薦系統(tǒng)通過收集社交信息，例如朋友、關(guān)注者、粉絲等。第三代推薦系統(tǒng)使用網(wǎng)上集成設(shè)備提供的信息。人才概況全球人才分布學(xué)者地圖用于描述特定領(lǐng)域?qū)W者的分布情況，對(duì)于進(jìn)行學(xué)者調(diào)查、分析各地區(qū)競(jìng)爭(zhēng)力現(xiàn)況尤為重要，下圖為信息檢索與推薦領(lǐng)域全球?qū)W者分布情況：圖 14-5 信息檢索與推薦領(lǐng)域全球人才分布地圖根

20、據(jù)學(xué)者當(dāng)前就職機(jī)構(gòu)地理位置進(jìn)行繪制，其中顏色越深表示學(xué)者越集中。從該地圖可以看出，美國(guó)的人才數(shù)量?jī)?yōu)勢(shì)明顯且主要分布于其東西海岸；歐洲、亞洲也有較多的人才分布；其他諸如非洲、南美洲等地區(qū)的學(xué)者非常稀少； 信息檢索與推薦領(lǐng)域的人才分布與各地區(qū)的科技、經(jīng)濟(jì)實(shí)力情況大體一致。此外， 在性別比例方面，信息檢索與推薦領(lǐng)域中男性學(xué)者占比 90.6%，女性學(xué)者占比9.4%，男性學(xué)者占比遠(yuǎn)高于女性學(xué)者。信息檢索與推薦領(lǐng)域?qū)W者的 h-index 分布如下圖所示，大部分學(xué)者的 h-index 分布在中低區(qū)域，其中 h-index 小于 20 區(qū)間的人數(shù)最多，有 870 人，占比 42.8%， 50-60 區(qū)間的人數(shù)

21、最少，有 82 人。1000900800700600人數(shù)50040030020010006050-6040-5030-4020-3020h-index圖 14-6 信息檢索與推薦領(lǐng)域?qū)W者 h-index 分布中國(guó)人才分布圖 14-7 信息檢索與推薦領(lǐng)域中國(guó)學(xué)者分布我國(guó)專家學(xué)者在信息檢索與推薦領(lǐng)域的分布如上圖所示，從中可以發(fā)現(xiàn)京津地區(qū)在本領(lǐng)域的人才數(shù)量最多，其次是長(zhǎng)三角和珠三角地區(qū)，相比之下，內(nèi)陸地區(qū)的人才較為匱乏，這種分布與區(qū)位因素和經(jīng)濟(jì)水平情況不無關(guān)系。同時(shí)，通過觀察中國(guó)周邊國(guó)家的學(xué)者數(shù)量情況，特別是與日韓、東南亞等地相比，中國(guó)在信息檢索與推薦領(lǐng)域?qū)W者數(shù)量較多且優(yōu)勢(shì)較大。中國(guó)與其他國(guó)家在信息

22、檢索與推薦領(lǐng)域的合作情況可以根據(jù) AMiner 數(shù)據(jù)平臺(tái)分析得到，通過統(tǒng)計(jì)論文中作者的單位信息，將作者映射到各個(gè)國(guó)家中，進(jìn)而統(tǒng)計(jì)中國(guó)與各國(guó)之間合作論文的數(shù)量，并按照合作論文發(fā)表數(shù)量從高到低進(jìn)行了排序，如下表所示。表 14-1 信息檢索與推薦領(lǐng)域中國(guó)與各國(guó)合作論文情況合作國(guó)家 論文數(shù) 引用數(shù) 平均引用數(shù) 學(xué)者數(shù) 中國(guó)-美國(guó) 204685834443中國(guó)-新加坡 4910672284中國(guó)-英國(guó) 3310573244中國(guó)-澳大利亞 327462363中國(guó)-荷蘭 225022320中國(guó)-加拿大 195142742中國(guó)-日本 763917中國(guó)-印度 4581510中國(guó)-希臘 447127中國(guó)-德國(guó) 33

23、41111從上表數(shù)據(jù)可以看出，中美合作的論文數(shù)、引用數(shù)、平均引用數(shù)以及學(xué)者數(shù)遙遙領(lǐng)先，表明中美間在信息檢索與推薦領(lǐng)域合作之密切；此外，中國(guó)與歐洲的合作非常廣泛，前 10 名合作關(guān)系里中歐合作共占 4 席。論文解讀本節(jié)對(duì)本領(lǐng)域的高水平學(xué)術(shù)會(huì)議及期刊論文進(jìn)行挖掘，解讀這些會(huì)議和期刊在 2018-2019 年的部分代表性工作。這些會(huì)議和期刊包括：International ACM SIGIR Conference on Research and Development in Information RetrievalACM Transactions on Information SystemsACM

24、 Recommender Systems我們對(duì)本領(lǐng)域論文的關(guān)鍵詞進(jìn)行分析，統(tǒng)計(jì)出詞頻 Top20 的關(guān)鍵詞，生成本領(lǐng)域研究熱點(diǎn)的詞云圖，如下圖所示。其中，推薦（recommendation）、檢索（retrieval）、排序?qū)W習(xí)（learning to rank）是本領(lǐng)域中最熱的關(guān)鍵詞。論文題目：Adversarial Personalized Ranking for Recommendation中文題目：對(duì)抗式個(gè)性化推薦排名 論文作者：Xiangnan He, Zhankui He, Xiaoyu Du anTat-Seng Chua.論文出處 ： The 41st Internationa

25、l ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1808.03908.pdf /pdf/1808.03908.pdf 研究問題： 貝葉斯個(gè)性化排名（Bayesian Personalized Ranking, BPR）是一種成對(duì)學(xué)習(xí)的排序方法，用于優(yōu)化個(gè)性化排序的推薦模型。它以內(nèi)隱反饋學(xué)習(xí)為目標(biāo)，假定觀察到的交互比未觀察到的交互排在更高的位置。矩陣因子分解（ Matrix Factorization, MF）是最基本也是最有效的推薦模

26、型。MF 將每個(gè)用戶和項(xiàng)表示為嵌入向量，通過嵌入向量之間的內(nèi)積來估計(jì)用戶對(duì)某一項(xiàng)的偏好程度。在信息檢索領(lǐng)域，貝葉斯個(gè)性化排名訓(xùn)練的矩陣分解模型（MF-BPR）學(xué)習(xí)一個(gè)與訓(xùn)練數(shù)據(jù)相適應(yīng)的復(fù)雜函數(shù)，不能很好地泛化，且其魯棒性較差，易受參數(shù)的對(duì)抗性擾動(dòng)。因此本文提出了一種新的個(gè)性化排名訓(xùn)練方法- 對(duì)抗的個(gè)性化排名（Adversarial Personalized Ranking, APR）。研究方法：以 BPR 為基礎(chǔ)，APR 中引入一個(gè)額外的目標(biāo)函數(shù)，對(duì)其進(jìn)行優(yōu)化來量化推薦模型在參數(shù)擾動(dòng)下的損失，使推薦模型既適合于個(gè)性化排序，又具有對(duì)抗性擾動(dòng)的魯棒性。上式和下式分別是 BPR 和 APR 的目標(biāo)函

27、數(shù)，adv 是對(duì)抗性擾動(dòng)，旨在最大化BPR 目標(biāo)函數(shù)的擾動(dòng)。APR 可以看作是在玩一個(gè)極小極大的游戲，在這個(gè)游戲中，優(yōu)化擾動(dòng)使 BPR 損失最大化，并且在對(duì)抗擾動(dòng)的情況下訓(xùn)練模型使 BPR 損失和附加損失最小化。APR 指定了一個(gè)與模型無關(guān)的通用學(xué)習(xí)框架，只要底層模型是可微的，就可以在 APR 框架下使用反向傳播或者基于梯度的優(yōu)化算法訓(xùn)練模型。 具體地，由于 APR 的目標(biāo)函數(shù)中含有非線性函數(shù)，且訓(xùn)練實(shí)例數(shù)目龐大， 故使用隨機(jī)梯度下降法（Stochastic Gradient Descent, SGD）對(duì) APR 進(jìn)行優(yōu)化。SGD 的思想是隨機(jī)選擇一個(gè)訓(xùn)練實(shí)例，并只針對(duì)單個(gè)實(shí)例更新模型參數(shù)，因

28、此如何根據(jù)一個(gè)隨機(jī)采樣實(shí)例（u, i, j）優(yōu)化模型參數(shù)是關(guān)鍵。本文提出的求解框架包括對(duì)抗性擾動(dòng)構(gòu)建和模型參數(shù)學(xué)習(xí)兩步，具體步驟詳見算法 1。 350351為了說明 APR 是如何工作的，本文提出了一個(gè)基于 MF 的推薦解決方案。首先用 BPR 訓(xùn)練 MF，然后在 APR 框架下進(jìn)一步優(yōu)化它，因此把這種方法稱為對(duì)抗性矩陣分解（AMF）。AMF 如上圖所示。由于 MF 的參數(shù)是用戶和項(xiàng)的嵌入向量，故對(duì)嵌入向量加以對(duì)抗性擾動(dòng)，再將算法 1 應(yīng)用到 AMF 中，這需要對(duì)AMF 進(jìn)行小批量訓(xùn)練，直到 AMF 達(dá)到收斂狀態(tài)或性能開始下降。研究結(jié)果： 本文在 Yelp、Pinterest 和 Gowall

29、a 三個(gè)公共數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，這三個(gè)數(shù)據(jù)集分別代表不同的應(yīng)用場(chǎng)景。定量分析和定性分析都證明了對(duì)個(gè)性化排名進(jìn)行對(duì)抗性訓(xùn)練的有效性和合理性。AMF 優(yōu)于 MF-BPR，歸一化折現(xiàn)累積增益（NDCG）和命中率（HR）平均提高了 11%，它也優(yōu)于最近提出的推薦模型， 成為最前沿的推薦模型。論文題目：Neural Compatibility Modeling with Attentive Knowledge Distillation 中文題目：基于注意力知識(shí)蒸餾的神經(jīng)兼容性建模論文作者：Xuemeng Song, Fuli Feng, Xianjing Han, Xin Yang, Wei Li

30、u and Liqiang Nie.論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1805.00313.pdf /pdf/1805.00313.pdf 研究問題： 服裝搭配與人們的日常生活息息相關(guān)，現(xiàn)有研究大多依賴深度神經(jīng)網(wǎng)絡(luò)來提取時(shí)尚單品的有效表征來解決服裝搭配問題。但作為純數(shù)據(jù)驅(qū)動(dòng)方法的神經(jīng)網(wǎng)絡(luò)不僅具有較差的可解釋性，而且也忽視了搭配領(lǐng)域知識(shí)。即使從數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)的角度

31、對(duì)服裝單品之間的兼容性進(jìn)行全面建模也面臨許多挑戰(zhàn)，如搭配領(lǐng)域知識(shí)是無結(jié)構(gòu)且模糊的，如何將搭配規(guī)則無縫地編碼到純數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)框架中以及對(duì)于不同的樣本知識(shí)規(guī)則可能表現(xiàn)出不同的置信度，從而提供不同的搭配指導(dǎo)。為此，本文提出了一種基于注意力知識(shí)蒸餾的神經(jīng)兼容性建模方法（AKD-DBPR）。研究方法： AKD-DBPR 能夠從特定數(shù)據(jù)樣本和一般領(lǐng)域知識(shí)中學(xué)習(xí)，采用教師-學(xué)生模式來整合領(lǐng)域知識(shí)（教師）并提高神經(jīng)網(wǎng)絡(luò)（學(xué)生）的性能。其基本思想類似于人類教育，教師知道幾個(gè)專業(yè)規(guī)則，因此教師可以用自己對(duì)特定問題的解決方案指導(dǎo)學(xué)生。學(xué)生網(wǎng)絡(luò) p 作為一種純數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)，其目標(biāo)是學(xué)習(xí)一個(gè)隱含的兼容空間，用雙

32、路徑神經(jīng)網(wǎng)絡(luò)將來自異構(gòu)空間的時(shí)尚單品統(tǒng)一起來。為了對(duì)不同模式之間的兼容性和語(yǔ)義關(guān)系全面建模，學(xué)生網(wǎng)絡(luò)通過在視覺和語(yǔ)境表示的連接向量上添加隱含層，無縫地集成時(shí)尚單品的視覺和語(yǔ)境模式。此外，為了更好地描述時(shí)尚單品之間的相對(duì)兼容性，構(gòu)建基于貝葉斯個(gè)性化排名（BPR）框架的學(xué)生網(wǎng) PAGE 359絡(luò)來研究互補(bǔ)單品之間的配對(duì)偏好。同時(shí)，用一組靈活的結(jié)構(gòu)化邏輯規(guī)則對(duì)領(lǐng)域知識(shí)進(jìn)行編碼，并利用正則化器將這些知識(shí)規(guī)則編碼到教師網(wǎng)絡(luò) q 中。但不同的規(guī)則對(duì)于不同的樣本可能有不同的置信水平，因此引入注意力機(jī)制來分配規(guī)則置信度，進(jìn)一步用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。上圖是注意力知識(shí)蒸餾的流程。v 和 c 分別表示單品的視覺和

33、上下文語(yǔ)境，,表示上裝 i 和下裝 j 的兼容性，r 表示規(guī)則。最后，鼓勵(lì)學(xué)生網(wǎng)絡(luò)達(dá)到良好的兼容性建模性能，而且能很好地模擬規(guī)則正則化的教師網(wǎng)絡(luò)。研究結(jié)果： 在真實(shí)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明了 AKD-DBPR 在服裝搭配領(lǐng)域具有良好性能且能應(yīng)用到互補(bǔ)時(shí)尚單品檢索的實(shí)踐中，除此之外也證明了引入注意機(jī)制有助于克服人為定義的模糊規(guī)則的局限性。論文題目： Improving Sequential Recommendation with Knowledge-Enhanced Memory Networks 中文題目：基于知識(shí)增強(qiáng)記憶網(wǎng)絡(luò)的序列推薦論文作者：Jin Huang, Wayne Xin Zh

34、ao, Hong-Jian Dou, Ji-Rong Wen and Edward Y. Chang.論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK https:/sci-hub.tw/10.1145/3209978.3210017 https:/sci-hub.tw/10.1145/3209978.3210017 研究問題： 推薦系統(tǒng)可以為用戶推薦其感興趣的內(nèi)容并給出個(gè)性化的建議?；?

35、RNN 的網(wǎng)絡(luò)可以將歷史交互記錄編碼為隱藏狀態(tài)向量，但是它很難從交互序列中捕獲細(xì)粒度的用戶偏好，而且隱向量表示的可解釋性也較差。為了以一種可解釋的方式增強(qiáng)細(xì)粒度用戶偏好建模的能力，本文提出一種知識(shí)增強(qiáng)的序列推薦（KSR） 模型。研究方法： KSR 模型將基于 RNN 的網(wǎng)絡(luò)（GRU）與鍵值記憶網(wǎng)絡(luò)（KV-MNs）相結(jié)合來增強(qiáng)推薦系統(tǒng)的特征捕獲能力與解釋性。GRU 部分用于捕捉用戶序列偏好特征，而 KV-MNs 用于捕捉基于屬性的用戶偏好特征。該模型如下圖所示。 給定一組用戶 u 的交互序列1, , 1，在表示好 GRU 模型的隱藏層和用戶u 的序列偏好向量之后，對(duì)每個(gè)對(duì)象使用基于貝葉斯后驗(yàn)優(yōu)化

36、的個(gè)性化排序算法（BPR）進(jìn)行預(yù)訓(xùn)練，再通過下式計(jì)算排名得分對(duì)候選對(duì)象排名，將得分最高的對(duì)象推薦給目標(biāo)用戶。KSR 模型的整體工作機(jī)制如上圖所示?；?RNN 的知識(shí)增強(qiáng)序列推薦模型的短期記憶能力有限，不適合長(zhǎng)期存儲(chǔ)知識(shí)庫(kù)信息，因此通過 KV-MNs 來整合知識(shí)庫(kù)知識(shí)。KV-MNs 將鍵向量設(shè)置為從知識(shí)數(shù)據(jù)中學(xué)習(xí)的嵌入關(guān)系，對(duì)應(yīng)于實(shí)體屬性。此外，對(duì)于給定的鍵向量設(shè)置一個(gè)特定于用戶的值向量來存儲(chǔ)相應(yīng)屬性的用戶偏好特征。通過這種方式，外部知識(shí)庫(kù)知識(shí)被有效地整合到 KV-MNs 中。準(zhǔn)備好 KV-MNs 后，將其與基于 RNN 的序列推薦模型集成。在每次推薦時(shí)使用來自 RNNs 的序列偏好作為查詢來

37、讀取特定于用戶的 KV-MNs 值向量相關(guān)內(nèi)容。值向量被組合到具有注意力權(quán)值的基于屬性的偏好表示中，基于屬性的偏好表示與序列偏好表示相結(jié)合形成用戶偏好的最終表示。研究結(jié)果： 本文在四個(gè)推薦系統(tǒng)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明 KSR 模型在每個(gè)數(shù)據(jù)集的推薦性能都比表現(xiàn)最好的基準(zhǔn)推薦模型有所提升，能夠生成更高質(zhì)量的序列推薦。此外，還定量分析了 KSR 模型的可解釋性，結(jié)果表明該模型具有高度的可解釋性。 論文題目：Equity of Attention: Amortizing Individual Fairness in Rankings 中文題目：注意力的公平性：在排名中平攤個(gè)體公平論文作者：Asia

38、 J. Biega, Krishna P. Gummadi and Gerhard Weikum論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1805.01788.pdf /pdf/1805.01788.pdf 研究問題：從招聘網(wǎng)站到共享經(jīng)濟(jì)平臺(tái)，人員和對(duì)象的排名是選拔、配對(duì)和推薦系統(tǒng)的核心。由于排名位置會(huì)影響被排名對(duì)象受到的關(guān)注度，排名中的偏差會(huì)導(dǎo)致機(jī)會(huì)和資源的不公平分配。因

39、此，本文提出了新的措施和機(jī)制來量化和減輕所有排名的不公平性。一個(gè)對(duì)象得到的關(guān)注應(yīng)該與其相關(guān)性成正比并且注意力在排名中需公平分配。所提出的方法關(guān)注的是個(gè)體對(duì)象層面的公平，并將群體公平作為一個(gè)特例納入其中，還設(shè)計(jì)了一種新的機(jī)制來確保排名中注意力平攤的公平性。研究方法：對(duì)象的關(guān)注受位置偏差的影響較大，即多個(gè)具有相似相關(guān)性的對(duì)象并沒有得到相同的排名位置和相近的關(guān)注度。本文定義的考慮位置偏差的注意力公平（equity of attention）認(rèn)為一個(gè)序列排名中每個(gè)對(duì)象獲得的累積注意力（A）與其累積相關(guān)性（R）成比例。注意力公平是個(gè)體層次的，當(dāng)個(gè)體的注意力達(dá)到公平時(shí)也會(huì)在群體層次上達(dá)到公平。注意力公平定

40、義如下：下式將不公平度量為累積注意力和累積相關(guān)性之間的距離（1, , 是一個(gè)序列排名）：當(dāng)相關(guān)程度較低的對(duì)象排名高于相關(guān)程度較高的對(duì)象排名時(shí)，為了滿足公平標(biāo)準(zhǔn)而對(duì)排名進(jìn)行過濾可能會(huì)導(dǎo)致質(zhì)量損失。因此使用 IR 評(píng)估的度量指標(biāo)來量化排名質(zhì)量。解決公平性的方法是在原有排名的基礎(chǔ)上重新排名，可將原始排名作為參考來評(píng)估重新排名的質(zhì)量。即通過量化新排名與原始排名的差異來量化排名質(zhì)量，如下式所示：為了提高公平性，對(duì)基于相關(guān)性的排名加以擾動(dòng)，這會(huì)導(dǎo)致排名質(zhì)量的下降， 為解決此問題，可通過在質(zhì)量約束下最小化不公平（即對(duì)可接受的排名質(zhì)量設(shè)置下限）來對(duì)二者進(jìn)行權(quán)衡。 將此方法轉(zhuǎn)化為線上優(yōu)化問題，排名攤銷需要以線上

41、方式完成，在不了解未來查詢負(fù)載的情況下，就要對(duì)當(dāng)前排名進(jìn)行重新排序，從而在當(dāng)前排名質(zhì)量受到約束的情況下，將排名中累積注意力和相關(guān)性分布的不公平性降到最低。此線上優(yōu)化問題可以通過整型線性規(guī)劃（ILP）來解決。假設(shè)要在一系列排名中重新排列第 l 位，引入2個(gè)決策變量,，如果對(duì)象分配到排名位置 j，設(shè)置決策變量的值為 1，否則為 0。對(duì)每個(gè)對(duì)象，累積注意力和相關(guān)性分別初始化為0 = 0，0 = 0，ILP 定義如下：第一項(xiàng)約束限制了排名質(zhì)量損失，其他約束確保解是對(duì)象到排名位置的雙向映射。當(dāng)且僅當(dāng)對(duì)象 ui 映射到位置 j 時(shí)，1 + 和1 + 這兩項(xiàng)分別更新累積注意力和相關(guān)性。還需注意的是 ILP

42、運(yùn)行在一個(gè)巨大的組合空間中，所以又設(shè)計(jì)了過濾器來精簡(jiǎn) ILP 的組合空間。 研究結(jié)果： 實(shí)驗(yàn)驗(yàn)證在兩類數(shù)據(jù)集上進(jìn)行，一是通過三個(gè)人工合成數(shù)據(jù)集來分析模型在不同相關(guān)性分布下（均勻分布、線性分布和指數(shù)分布）的性能，二是分析模型在真實(shí)場(chǎng)景中的性能，數(shù)據(jù)集采用世界不同地域三個(gè)城市的 Airbnb 公寓排名和基于 StackExchange 查詢?nèi)罩竞臀臋n集合構(gòu)建的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明了提高注意力的公平性的重要性，在共享經(jīng)濟(jì)或排名影響人們經(jīng)濟(jì)生活的市場(chǎng)平臺(tái)中尤為重要，而且這是可以在不犧牲排名質(zhì)量的情況下做到的。 論文題目：Impact of Item Consumption on Assessment

43、of Recommendations in User Studies 中文題目：關(guān)于用戶是否消費(fèi)過物品對(duì)推薦系統(tǒng)的評(píng)價(jià)影響研究論文作者：Benedikt Loepp, Tim Donkers, Timm Kleemann, Jrgen Ziegler論文出處：ACM Recommender Systems論文地址：/10.1145/3240323.3240375研究問題：在對(duì)推薦系統(tǒng)的用戶研究中，參與者通常不能消費(fèi)推薦的商品。盡管如此， 他們還是被要求通過問卷的方式來評(píng)估推薦質(zhì)量和與用戶體驗(yàn)相關(guān)的其他方面。然而，如果沒有聽過推薦的歌曲或看過推薦的電影，這可能是一個(gè)很容易出錯(cuò)的任務(wù)，可能會(huì)限制這

44、些研究結(jié)果的有效性。在這篇文章中，作者調(diào)查了實(shí)際消費(fèi)的推薦項(xiàng)目的影響。 研究方法： 作者提出了兩項(xiàng)在不同領(lǐng)域進(jìn)行的用戶研究，研究表明在某些情況下，推薦評(píng)估和問卷調(diào)查結(jié)果存在差異。顯然，在不允許用戶消費(fèi)項(xiàng)目的情況下，并不總能充分衡量出用戶體驗(yàn)。另一方面，根據(jù)領(lǐng)域和提供的信息，參與者有時(shí)似乎很好地估計(jì)了推薦的實(shí)際價(jià)值。一項(xiàng)是在音樂領(lǐng)域，用聽歌做測(cè)試（記為 S），一項(xiàng)是在電影領(lǐng)域（記為 M）。通過對(duì)兩組 40 名平均年齡為二十幾歲的男女大致均衡的參與者，分別進(jìn)行了音樂領(lǐng)域和電影領(lǐng)域的對(duì)照實(shí)驗(yàn)?？刂频淖兞織l件是消費(fèi)前（前）和消費(fèi)后（后） 進(jìn)行問卷調(diào)查，以及僅在消費(fèi)后（后）進(jìn)行問卷調(diào)查。研究結(jié)果：實(shí)驗(yàn)結(jié)

45、果認(rèn)為，我們有必要對(duì)推薦系統(tǒng)的問卷調(diào)查結(jié)果有所保留（即保持懷疑態(tài)度）。在某些情況下，如果不使用推薦的物品，參與者無法充分評(píng)估推薦系統(tǒng)的各個(gè)方面，特別是與用戶體驗(yàn)相關(guān)的方面。 舉例來說，比如音樂領(lǐng)域的參與者通常傾向于低估歌曲，并且在只能從包含描述性信息做判斷，而不能夠聽歌時(shí)，對(duì)被要求在推薦列表中進(jìn)行選擇時(shí)滿意度較低。聽歌對(duì)滿意度會(huì)產(chǎn)生正向影響，導(dǎo)致相關(guān)問卷項(xiàng)目的得分明顯更高。比如在對(duì)選擇滿意度的研究中表明人們會(huì)傾向于高估過去事件的影響，并且在某些情況下，幾周后滿意度會(huì)下降，因此有必要調(diào)查這些結(jié)果的穩(wěn)定性。 主觀系統(tǒng)方面，如感知的召回質(zhì)量的評(píng)價(jià)與是否消費(fèi)過無關(guān)。對(duì)于電影而言，這在更多方面似乎是正確

46、的，尤其是在可以使用高質(zhì)量的文字說明的情況下，與具有抽象情感內(nèi)容的音樂相比，電影的推薦更生動(dòng)具體。確實(shí)一些為人熟知的歌曲也有電影的這種效果，這會(huì)帶來一些推薦的偏差。還有就是，短電影在這方面是完全未知的， 被人耳熟能詳?shù)母枨鷶?shù)量也不多，所以也沒有產(chǎn)生出相關(guān)性。但對(duì)物品的熟悉程度及其對(duì)評(píng)估推薦的影響還是應(yīng)該進(jìn)行更詳細(xì)的研究。另外，需要更多地考慮廣泛使用問卷的一般影響，因?yàn)橛幸庾R(shí)地思考決策并不總是有益的（對(duì)于決策結(jié)果來說，結(jié)果越直觀、簡(jiǎn)單越好）?？偟膩碚f，定量結(jié)果表明，實(shí)際經(jīng)驗(yàn)是否足以被替代，在很大程度上取決于推薦的領(lǐng)域，以及推薦系統(tǒng)提供的信息的類型和數(shù)量。本文通過研究定性評(píng)論反映了這一點(diǎn)。因此，作

47、者建議避免不同設(shè)置之間的比較（注意控制變量），并在要求參與者在不消費(fèi)的情況下對(duì)推薦進(jìn)行評(píng)級(jí)時(shí)，要對(duì)用戶實(shí)驗(yàn)更加注意才行（注重實(shí)踐和對(duì)結(jié)果的把控）。還有，現(xiàn)實(shí)世界中提供的物品評(píng)分不會(huì)抑制評(píng)分， 例如在看電影或烹飪食譜之前的評(píng)分，應(yīng)該與看過后以及吃過后的評(píng)分謹(jǐn)慎的有機(jī)結(jié)合。只有當(dāng)提供了足夠信息的時(shí)候，參與者的反應(yīng)才可能是可靠的，在這種情況下，可能就不需要（用戶實(shí)際）消費(fèi)過這個(gè)物品了。因?yàn)樗麄円呀?jīng)在心里形成了一個(gè)模型，考慮了自己的喜好，使這個(gè)建議像他已經(jīng)真的買了或用了一樣可靠（也就是自己說服自己）。下圖是作者針對(duì)條件（S1, S2/M1, M2）和時(shí)間點(diǎn)（事前，事后）交互作用的用戶研究的混合模型結(jié)果

48、。正差異結(jié)果表明用戶消費(fèi)后的結(jié)果會(huì)更好。 論文題目：Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems中文題目：我應(yīng)該跟隨潮流（人群）嗎？推薦系統(tǒng)中流行度有效性的概率分析論文作者：Roco Caamares ，Pablo Castells論文出處：International ACM SIGIR Conference on Research and Development in Information Retrieval論文地址：

49、/citation.cfm?id=3210014 研究問題： 近年來，在推薦系統(tǒng)的評(píng)價(jià)中使用 IR 方法已經(jīng)成為一種普遍的做法。然而， 人們發(fā)現(xiàn) IR 指標(biāo)對(duì)推薦熱門物品的獎(jiǎng)勵(lì)算法存在強(qiáng)烈的偏差（bias），這與目前最先進(jìn)的推薦算法存在的偏差是相同的。最近也有一些研究證實(shí)并測(cè)量了這種偏差，并提出了避免這種偏差的方法?？墒?，最根本的問題仍懸而未決一個(gè)物品的流行度（popularity）的偏差是否是我們應(yīng)當(dāng)避免的；無論這個(gè)偏差是一個(gè)對(duì)于推薦來說的好信號(hào)，還是可能因?yàn)槭艿綄?shí)驗(yàn)偏差而導(dǎo)致的壞信號(hào)。研究方法： 論文方法是根據(jù)關(guān)鍵隨機(jī)變量之間的依賴關(guān)系，識(shí)別和建模可以確定答案的條件，包括物品評(píng)級(jí)、發(fā)現(xiàn)和相

50、關(guān)性等。作者發(fā)現(xiàn)了保證流行有效或完全相反的條件，以及度量值反映真實(shí)有效性或在質(zhì)量上偏離真實(shí)有效性的條件。 作者構(gòu)建了一個(gè)眾包數(shù)據(jù)集，其中沒有公共可用數(shù)據(jù)顯示的常見偏差，在這個(gè)數(shù)據(jù)集中，作者說明了在一個(gè)常見的有偏差的離線實(shí)驗(yàn)設(shè)置中所能測(cè)量的準(zhǔn)確性與通過無偏差的觀察所能測(cè)量的實(shí)際準(zhǔn)確性之間的矛盾。 研究結(jié)論： 本文作者通過研究證實(shí)了普遍流行的有效性趨勢(shì)，并用公式證明與解釋了原因。同時(shí)作者還發(fā)現(xiàn)，在許多情況下表觀的準(zhǔn)確度可能會(huì)產(chǎn)生誤導(dǎo)（即與真實(shí)準(zhǔn)確度不匹配）。這大多是因?yàn)橥扑]的物品出現(xiàn)與用戶興趣相差較大的情況。作者發(fā)現(xiàn)，通常的實(shí)驗(yàn)（即觀察到的準(zhǔn)確度為度量值）可能對(duì)平均評(píng)級(jí)（average ratin

51、g） 及其個(gè)性化衍生品（personalized derivatives）相當(dāng)不公平。與目前文獻(xiàn)中觀察到的結(jié)果相反，平均評(píng)級(jí)在大多數(shù)情況下，相對(duì)于正評(píng)級(jí)（positive ratings），在真實(shí)的準(zhǔn)確率上可能更好、更安全，魯棒性更強(qiáng)。 作者進(jìn)一步發(fā)現(xiàn)，當(dāng)涉及到流行度的有效性或平均評(píng)分及其度量時(shí)，喜歡的物品被評(píng)分的次數(shù)多少并不重要，重要的是評(píng)級(jí)是否依賴相關(guān)性，依賴是完全的還是部分的；當(dāng)發(fā)現(xiàn)主要依賴于相關(guān)性，或者幾乎不依賴于相關(guān)性時(shí)，流行度和360361平均評(píng)分才是真正準(zhǔn)確的理想條件。平均評(píng)級(jí)似乎比流行度對(duì)相關(guān)性獨(dú)立性的影響更大，因此在有高偏差的情況下（如營(yíng)銷驅(qū)動(dòng)），它比流行度更可取。論文題目：

52、Variance Reduction in Gradient Exploration for Online Learning to Rank中文題目：一種基于方差縮減梯度搜索的在線學(xué)習(xí)排序方法論文作者： Huazheng Wang, Sonwoo Kim, Eric McCord-Snook, Qingyun Wu,Hongning Wang論文出處：International ACM SIGIR Conference on Research and Development in Information Retrieval論文地址：/citation.cfm?id=3331264 研究問題：在

53、線學(xué)習(xí)排名（OL2R）算法從用戶的即時(shí)反饋中學(xué)習(xí)，算法的關(guān)鍵是對(duì)梯度的無偏估計(jì)，通常是通過從整個(gè)參數(shù)空間均勻采樣來實(shí)現(xiàn)的。然而，這導(dǎo)致了梯度估計(jì)的高方差，會(huì)使模型更新時(shí)的效果不佳，特別是在參數(shù)空間的維數(shù)較大的時(shí)侯。本文旨在降低 OL2R 算法中梯度估計(jì)的方差。 研究方法： 在交叉測(cè)試之后，作者將選擇的更新方向（如目標(biāo)方向 winning direction） 投影到當(dāng)前查詢下被檢索（examined）文檔的特征向量所跨越的空間（簡(jiǎn)稱為“文檔空間 document space”）。作者的主要觀點(diǎn)是，交叉測(cè)試的結(jié)果完全由用戶對(duì)所檢索文檔的相關(guān)性評(píng)估控制。因此，該測(cè)試引入的真實(shí)梯度只反映在構(gòu)建的文檔

54、空間中，為了減少方差，我們可以安全地刪除與文檔空間正交的梯度分量。作者證明了這個(gè)投影梯度仍然是一個(gè)真實(shí)梯度的無偏估計(jì)，并且證明了這種低方差梯度估計(jì)能夠顯著減少 regret。在本文中，作者提出并發(fā)展了文檔空間投影（Document Space Projection，DSP）方法來減少梯度估計(jì)中的方差，提高在線學(xué)習(xí)的排序性能。DSP 的核心思想是認(rèn)識(shí)到交叉測(cè)試只揭示了真實(shí)梯度在被檢文檔的跨空間上的投影。包含任何超出此空間的模型更新只會(huì)引入噪聲。因此，作者將選擇的模型更新方向投射回文檔空間以減少方差。作者同時(shí)證明了 DSP 保持著一個(gè)無偏的梯度估計(jì)，并且通過減少方差可以顯著提高 DBGD 類型算法

55、的 regret 界。通過大量的實(shí)驗(yàn)，發(fā)現(xiàn)DSP 能夠在方差減少和整體性能方面，特別是在排序特征數(shù)量較大的情況下，對(duì)幾種最先進(jìn)的 OL2R 模型提供統(tǒng)計(jì)上顯著的改進(jìn)。下表是在線和離線 NDCG10， 經(jīng)過一萬次查詢，每種算法的文檔空間投影的標(biāo)準(zhǔn)差和相對(duì)改進(jìn)。 研究結(jié)果： 本文通過與幾種最先進(jìn)的 OL2R 算法的大量實(shí)驗(yàn)比較，驗(yàn)證了作者提出的方法在減少方差和提高整體排名性能方面的有效性（如表 2 和 3 所示）。但是觀察到在模擬用戶點(diǎn)擊反饋時(shí)，DSP 在不同點(diǎn)擊模式下的性能有所不同。未來，作者計(jì)劃合并不同的點(diǎn)擊模式解決方案，以更精確地構(gòu)建文檔空間。在交叉測(cè)試之前， 研究如何進(jìn)行基于文檔空間的探索

56、性方向生成也是有意義的。探索性方向預(yù)選有望進(jìn)一步加速梯度探索，提高在線學(xué)習(xí)過程中的用戶滿意度，不過同時(shí)也必須確保它是無偏差的。 信息檢索與推薦進(jìn)展隨著互聯(lián)網(wǎng)中數(shù)字信息數(shù)量的增長(zhǎng)，商品、書籍、新文章、歌、電影、研究文件等日?；A(chǔ)性事物，其數(shù)量和種類填滿了多個(gè)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)。蘊(yùn)含著智能推薦系統(tǒng)和強(qiáng)大的搜索引擎的在線商店、在線音樂、在線視頻和圖片庫(kù)等已成為人們快速尋找信息的主要方式。此類系統(tǒng)的流行程度和有用性在于它們能夠便捷地顯示幾乎無限的物品信息。比如，Amazon、Netflix 等推薦系統(tǒng)嘗試了解用戶興趣，并向用戶推薦他們感興趣的商品。盡管這些系統(tǒng)由于使用場(chǎng)景而各不相同，但其尋找用戶感興趣商

57、品的核心機(jī)制都是用戶興趣與商品匹配的機(jī)制。為了提高信息檢索與推薦系統(tǒng)中算法模型的準(zhǔn)確性和可解釋性，研究人員近年來主要關(guān)注無偏的在線排序?qū)W習(xí)模型，以及利用知識(shí)信息增強(qiáng)推薦系統(tǒng)的表現(xiàn)和可解釋性等方面的研究。其中，無偏的在線排序?qū)W習(xí)模型是指自動(dòng)利用大規(guī)模用戶點(diǎn)擊數(shù)據(jù)訓(xùn)練搜索結(jié)果的排序模型。用戶點(diǎn)擊數(shù)據(jù)是現(xiàn)代搜索引擎的重要數(shù)據(jù)來源，具有成本低廉，并且對(duì)以用戶為中心的檢索應(yīng)用程序（如搜索排名）特別有用等優(yōu)點(diǎn)。為了充分利用用戶點(diǎn)擊數(shù)據(jù)開發(fā)一個(gè)無偏的學(xué)習(xí)排名系統(tǒng)，研究人員試圖消除用戶偏見對(duì)排名模型訓(xùn)練的影響。近年來，一種基于反事實(shí)學(xué)習(xí)和圖形模型的無偏學(xué)習(xí)排名框架引起了人們的廣泛關(guān)注。該框架側(cè)重于使用反事實(shí)學(xué)習(xí)直接訓(xùn)練帶有偏倚點(diǎn)擊數(shù)據(jù)的排名模型。這個(gè)無偏的學(xué)習(xí)排名框架對(duì)待點(diǎn)擊偏差作為一個(gè)反事實(shí)的影響和去偏用戶反饋加權(quán)每點(diǎn)擊與他們的反向傾向加權(quán)。它使用傾向性模型來量化點(diǎn)擊的偏差，并沒有明確地估計(jì)查詢文檔與培訓(xùn)數(shù)據(jù)的相關(guān)性。研究人員從理論上證明，在正確的偏差估計(jì)下，在該框架下使用