排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)研究

排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)研究【摘要】：隨著監(jiān)督式機(jī)器學(xué)習(xí)技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用,研究人員逐漸意識(shí)到,訓(xùn)練數(shù)據(jù)的缺乏是阻礙學(xué)習(xí)模型快速部署的關(guān)鍵因素之一。最近幾年,如何解決訓(xùn)練數(shù)據(jù)缺乏的問(wèn)題,已經(jīng)成為機(jī)器學(xué)習(xí),自然語(yǔ)言處理,信息檢索、多媒體等領(lǐng)域的研究熱點(diǎn)。排序?qū)W習(xí)是信息檢索的關(guān)鍵問(wèn)題之一。目前,基于監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)被認(rèn)為是解決排序?qū)W習(xí)的最佳選擇。如同傳統(tǒng)監(jiān)督式學(xué)習(xí)技術(shù),目標(biāo)領(lǐng)域缺乏訓(xùn)練數(shù)據(jù)也是排序?qū)W習(xí)正在面臨的實(shí)際問(wèn)題。針對(duì)排序?qū)W習(xí),我們研究了如何利用其他相關(guān)領(lǐng)域的己有訓(xùn)練數(shù)據(jù),學(xué)習(xí)出適用于目標(biāo)領(lǐng)域的模型,即領(lǐng)域自適應(yīng)。本文的主要貢獻(xiàn)有以下幾個(gè)方面：1.提出了基于文檔權(quán)重的排序?qū)W習(xí)自適應(yīng)框架。首先,利用領(lǐng)域分隔超平面估計(jì)源領(lǐng)域文檔對(duì)目標(biāo)領(lǐng)域的重要性；然后,把這些文檔權(quán)重轉(zhuǎn)換成文檔對(duì)權(quán)重；最終,文檔對(duì)權(quán)重可以集成到基于文檔對(duì)的排序?qū)W習(xí)算法中。2.研究了著名的排序?qū)W習(xí)算法RankBoost的領(lǐng)域自適應(yīng)問(wèn)題。在基于文檔權(quán)重的排序自適應(yīng)框架下,提出了三種基于文檔權(quán)重的RankBoost算法,并分別對(duì)它們進(jìn)行了理論分析和試驗(yàn)比較。3.提出了直接在查詢層次估計(jì)源領(lǐng)域查詢對(duì)目標(biāo)領(lǐng)域重要性的方法。在排序?qū)W習(xí)中,查詢是帶有相關(guān)性標(biāo)簽的文檔集合,是排序?qū)W習(xí)的基本對(duì)象。我們分別從兩個(gè)不同的角度進(jìn)行查詢權(quán)重估計(jì)：(1)將查詢壓縮成特征向量,然后采用傳統(tǒng)的權(quán)重估計(jì)方法進(jìn)行查詢權(quán)重估計(jì)。(2)對(duì)每個(gè)源領(lǐng)域的查詢,把它依次和目標(biāo)領(lǐng)域查詢進(jìn)行比較；通過(guò)集成這些兩兩比較的結(jié)果,估計(jì)源領(lǐng)域查詢對(duì)于目標(biāo)領(lǐng)域的重要程度。4.提出了基于主動(dòng)學(xué)習(xí)的排序?qū)W習(xí)自適應(yīng)算法。為了獲得目標(biāo)領(lǐng)域特有的排序知識(shí),采用主動(dòng)學(xué)習(xí)技術(shù),選擇少量目標(biāo)領(lǐng)域具有信息量的查詢進(jìn)行標(biāo)注。這些查詢可以彌補(bǔ)源領(lǐng)域所缺失的目標(biāo)領(lǐng)域排序知識(shí),同時(shí),利用這些目標(biāo)查詢?cè)u(píng)估源查詢對(duì)目標(biāo)領(lǐng)域的重要性權(quán)重,從而充分利用源領(lǐng)域的訓(xùn)練數(shù)據(jù)。5.將領(lǐng)域自適應(yīng)技術(shù)應(yīng)用在語(yǔ)義實(shí)體識(shí)別中,提出了利用領(lǐng)域獨(dú)立特征來(lái)增強(qiáng)領(lǐng)域自適應(yīng)能力的方法。傳統(tǒng)實(shí)體識(shí)別僅僅使用短文本特征,當(dāng)訓(xùn)練文檔和測(cè)試文檔在風(fēng)格上稍有差異時(shí),性能便有明顯下降。為解決該問(wèn)題,我們?cè)O(shè)計(jì)了一個(gè)CRF與SVM的組合框架,通過(guò)該框架,短文本特征與領(lǐng)域獨(dú)立特征可以有效的集成,最終獲得的識(shí)別模型能夠更好地適用于目標(biāo)領(lǐng)域。針對(duì)不同的應(yīng)用場(chǎng)景,本文研究了排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)問(wèn)題。在目標(biāo)領(lǐng)域沒(méi)有標(biāo)注數(shù)據(jù)的場(chǎng)景下,我們從樣本權(quán)重的角度,研究了基于權(quán)重的排序?qū)W習(xí)領(lǐng)域自適應(yīng)；在目標(biāo)領(lǐng)域存在少量標(biāo)注預(yù)算的場(chǎng)景下,我們研究了基于主動(dòng)學(xué)習(xí)的排序自適應(yīng)算法。另外,我們還研究了領(lǐng)域自適應(yīng)在語(yǔ)義實(shí)體識(shí)別中的應(yīng)用。從特征的角度,我們探討了基于領(lǐng)域獨(dú)立特征的語(yǔ)義實(shí)體識(shí)別領(lǐng)域自適應(yīng)。我們?cè)跇?biāo)準(zhǔn)數(shù)據(jù)集上評(píng)價(jià)了算法的有效性。在實(shí)際應(yīng)用中,比如多媒體新聞推薦,熱點(diǎn)事件檢測(cè),情感分析,通用搜索,垂直搜索等等,通過(guò)本文提出的領(lǐng)域自適應(yīng)技術(shù),可以充分利用已有其他相關(guān)領(lǐng)域的標(biāo)注數(shù)據(jù),降低目標(biāo)領(lǐng)域的標(biāo)注成本,同時(shí)獲得滿意的目標(biāo)領(lǐng)域模型?！娟P(guān)鍵詞】：領(lǐng)域自適應(yīng)排序?qū)W習(xí)文檔權(quán)重查詢權(quán)重主動(dòng)學(xué)習(xí)領(lǐng)域獨(dú)立特征語(yǔ)義實(shí)體

100-1027.5試驗(yàn)結(jié)果與分析102-1057.5.1試驗(yàn)數(shù)據(jù)與設(shè)置102-1047.5.2結(jié)果與分析104-1057.6本章小結(jié)105-106第八章總結(jié)與展望106-1108.1