《面向跨領(lǐng)域多輪對話系統(tǒng)的設(shè)計案例》3500字

面向跨領(lǐng)域多輪對話系統(tǒng)的設(shè)計案例綜述系統(tǒng)設(shè)計流程本文集成上述方法和模型設(shè)計了系統(tǒng)的開發(fā)流程，如圖1.1所示，實現(xiàn)了面向跨領(lǐng)域的多輪對話系統(tǒng)。圖1.1系統(tǒng)設(shè)計用文字來總結(jié)為：第一步，針對數(shù)據(jù)集中跨景點、餐館、酒店和交通等四個領(lǐng)域，設(shè)計了相對應(yīng)的意圖請求和語義表示；第二步，數(shù)據(jù)集預(yù)處理。按照預(yù)定義的意圖以及語義槽，基于中文預(yù)訓(xùn)練的BERT模型對對話數(shù)據(jù)進(jìn)行意圖檢測和領(lǐng)域識別，進(jìn)而對語料進(jìn)行語義槽填充；第三步，數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，首先在訓(xùn)練集上訓(xùn)練得到性能穩(wěn)定的模型，然后通過驗證集和測試集的實驗，獲得性能表現(xiàn)最優(yōu)的模型；第四步，設(shè)計實現(xiàn)基于規(guī)則的對話狀態(tài)追蹤模塊，為驗證規(guī)則的合理性，評估了該方法在數(shù)據(jù)集上的表現(xiàn)；第五步，在數(shù)據(jù)集上基于模仿學(xué)習(xí)的方法進(jìn)行監(jiān)督學(xué)習(xí)，根據(jù)語料庫中相對應(yīng)的系統(tǒng)回復(fù)，構(gòu)建并訓(xùn)練得到最優(yōu)的動作預(yù)測模型；第六步，設(shè)計與定義每個系統(tǒng)動作對應(yīng)的應(yīng)答回復(fù)模板或者訓(xùn)練系統(tǒng)回答的SC-LSTM模型；最后一步，進(jìn)行系統(tǒng)的統(tǒng)一部署與測試。數(shù)據(jù)集的介紹通過調(diào)研任務(wù)型對話常見的的應(yīng)用場景，對比了不同數(shù)據(jù)集之間的優(yōu)劣以及特點，最終確定使用一種面向多領(lǐng)域交互任務(wù)的大規(guī)模中文對話數(shù)據(jù)集。表1.1為基于該數(shù)據(jù)集的一個對話示例。表1.1對話示例對話標(biāo)注你好，幫我找一個免費的景點。Id=1(景點)：門票=免費，名稱=？，周邊酒店=？天安門廣場怎么樣？景點：門票=免費多謝，我還想在天安門廣場旁邊找一家有叫醒服務(wù)的酒店住宿。Id=2(酒店)：名稱=附近(Id=1)，叫醒服務(wù)=yes，評分=？向您推薦北京首都賓館。酒店：附近=天安門廣場，酒店設(shè)施=叫醒服務(wù)這是一個中文大規(guī)模多領(lǐng)域任務(wù)導(dǎo)向?qū)υ挃?shù)據(jù)集，包含6千次對話，10萬個句子，涉及5個領(lǐng)域（景點、酒店、餐館、地鐵、出租）。各領(lǐng)域包含的信息如下表1.2所示：表1.2數(shù)據(jù)集描述景點域名稱*、評分*、門票*、游玩時間*、地址、電話、周邊景點、周邊餐館、周邊酒店餐館域名稱*、評分*、人均消費*、推薦菜*、地址、電話、營業(yè)時間、周邊景點、周邊餐館、周邊酒店酒店域名稱*、評分*、價格*、酒店類型*、酒店設(shè)施*、電話、地址、周邊景點、周邊餐館出租域出發(fā)地、目的地、車型、車牌號碼地鐵域出發(fā)地、目的地、粗體部分可以是跨域的信息槽；帶星號的為信息槽；除了出租車和地鐵域中的“from”和“to”插槽外，所有插槽都是可請求的插槽?！爸苓吘包c/餐館/酒店”槽和“推薦菜”槽可以以列表形式表示?！熬频暝O(shè)施”的值用1和0表示有無。實驗將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，各部分的信息如下表1.3所示：表1.3數(shù)據(jù)集描述TrainValidTest對話總數(shù)5012500500對話總輪次8469284588476標(biāo)記1376033137736137427詞匯量1250252025143平均涉及領(lǐng)域3.243.263.26平均語義圖14.814.915.0平均輪次16.916.917.0平均標(biāo)記16.316.316.2針對本文的對話系統(tǒng)，定義的部分意圖類型如下表1.4所示：表1.4意圖類型示例意圖類型含義General+greet+none+none問候General+thank+none+none感謝Inform+景點+門票告知景點價格Inform+景點+評分告知景點評分信息Request+景點+名稱+請求推薦景點的名稱Request+景點+游玩時間+請求景點的開放時間區(qū)間Request+景點+周邊餐館+請求景點周邊的餐館Inform+餐館+人均消費告知餐館人均消費Inform+餐館+評分告知餐館評分信息Request+餐館+名稱+請求推薦餐館的名稱Request+餐館+電話+請求餐館的電話Request+餐館+營業(yè)時間+請求餐館的營業(yè)時間Request+餐館+周邊酒店+請求餐館周邊的酒店Inform+酒店+價格告知酒店價格Inform+酒店+評分告知酒店評分信息Inform+酒店+酒店設(shè)施-叫醒服務(wù)+是告知系統(tǒng)需要酒店提供叫醒服務(wù)Inform+酒店+酒店設(shè)施-無煙房+是告知系統(tǒng)需要酒店提供無煙房Inform+出租+目的地告知系統(tǒng)乘坐出租的目的地General+bye+none+none再見接口的設(shè)計與實現(xiàn)本節(jié)主要介紹系統(tǒng)代理接口的設(shè)計與實現(xiàn)，接口中主要包括的方法是回復(fù)函數(shù)和對話進(jìn)程管理函數(shù)。在接口的實現(xiàn)中，要求給定該管道方法各個模塊所需要使用的方法和模型，并詳細(xì)定義了各個成員函數(shù)的實現(xiàn)過程。管道對話代理基類，包括NLU，DST，Policy和NLG。流水線代理模塊的組合方式非常靈活，可以根據(jù)客戶的需求制定各個模塊使用的模型和方法，從而實現(xiàn)對話系統(tǒng)的對多樣性。例如，在對話狀態(tài)追蹤模塊是使用RuleDST還是TRADE模型等。在對話系統(tǒng)被投入使用之前，便可以按照預(yù)定義的NLU，DST，Policy和NLG預(yù)先完成系統(tǒng)代理的部署。而各個模塊的具體實現(xiàn)就會按照第三章中介紹的流程，一步步地完成各模塊的任務(wù)實現(xiàn)。本文搭建的對話系統(tǒng)將系統(tǒng)動作的具體實現(xiàn)過程以及信息處理的細(xì)節(jié)都封裝在代理類中，系統(tǒng)通過代理類的實現(xiàn)來設(shè)計在線客服。在多輪對話的過程中，用戶只需要向系統(tǒng)發(fā)出自己信息咨詢的具體請求，通過系統(tǒng)內(nèi)部方法的實現(xiàn)向用戶提供合適的回復(fù)。但是正如同現(xiàn)實中人類之間的交互一樣，雙方會存在表意不明或者要求不具體的因此，因而也需要通過用戶和系統(tǒng)的多次交互來收集用戶的需求以完成系統(tǒng)任務(wù)。NLU接口的實現(xiàn)通過意圖識別和命名實體識別我們就可以完成自然語言理解，本文提出了一種BERTNLU-context的模型來做多輪對話下的自然語言理解。表1.5NLU接口的使用示例BERTNLU輸入：你好，給我推薦一個評分是5分，價格在100-200元的酒店。歷史信息：無NLU輸出：['General','greet','none','none'],['Request','酒店','名稱',''],['Inform','酒店','評分','5分'],['Inform','酒店','價格','100-200元']輸入：北京布提克精品酒店酒店是什么類型，有健身房嗎？歷史信息：'你好，給我推薦一個評分是5分，價格在100-200元的酒店。','推薦您去北京布提克精品酒店。'NLU輸出：['Request','酒店','酒店類型',''],['Request','酒店','酒店設(shè)施-健身房',''],['Inform','酒店','名稱','北京布提克精品酒店']DST接口的實現(xiàn)對話狀態(tài)跟蹤負(fù)責(zé)從對話上下文識別用戶目標(biāo)，然后將目標(biāo)編碼到預(yù)定義的系統(tǒng)狀態(tài)中。傳統(tǒng)的狀態(tài)跟蹤模型以自然語言理解模塊解析的用戶對話行為作為輸入，而近年來出現(xiàn)了直接從上下文獲取系統(tǒng)狀態(tài)的聯(lián)合模型。我們在這個實驗中既實現(xiàn)了一個基于規(guī)則的模型(RuleDST)，也使用了TRADE(TransferableDialogueStateGenerator)模型REF_Ref71109008\r\h[27]。下面表1.6展示了該基于RuleDST實現(xiàn)的一個示例。表1.6RuleDST的實現(xiàn)示例RuleDSTDST輸入：['General','greet','none','none'],['Request','酒店','名稱',''],['Inform','酒店','評分','5分'],['Inform','酒店','價格','100-200元']圖1.2狀態(tài)更新示例DPL接口的實現(xiàn)該接口的預(yù)測示例如下表1.7所示：表1.7對話策略預(yù)測示例對話策略預(yù)測示例DPL輸入：{'user_action':[['General','greet','none','none'],['Request','景點','名稱',''],['Inform','景點','門票','免費']],'system_action':[],'belief_state':{'景點':{'名稱':'','門票':'免費','游玩時間':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'餐館':{'名稱':'','推薦菜':'','人均消費':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'酒店':{'名稱':'','酒店類型':'','酒店設(shè)施':'','價格':'','評分':'','周邊景點':'','周邊餐館':'','周邊酒店':''},'地鐵':{'出發(fā)地':'','目的地':''},'出租':{'出發(fā)地':'','目的地':''}},'cur_domain':'景點','request_slots':[['景點','名稱']],'terminated':False,'history':[['sys',''],['user','你好，麻煩幫我推薦一個門票免費的景點。']]}預(yù)測輸出：[['Inform','景點','名稱','天安門廣場']]NLG接口的實現(xiàn)在TemplateNLG模塊中，我們預(yù)先定義了系統(tǒng)動作對應(yīng)的回復(fù)模板。表1.8TemplateNLG的生成示例TemplateNLG輸入：['Inform','景點','名稱','天安門廣場']輸出：您可以考慮天安門廣場這個景點。輸入：['Inform','景點','周邊餐館','北京全聚德(王府井店)']輸出：還真挺方便的，有一家飯店叫北京全聚德(王府井店)。如下表1.9所示為基于SC-LSTM的自然語言生成模塊的作用原理。表1.9SC-LSTM方法的作用原理SC-LSTM輸入：(Inform,Restaurant,name,$name)(Inform,Restaurant,cost,$cost)輸出：為您推薦$name，人均消費$cost。如下表1.10展示了基于SC-LSTM方法的自然語言生成模塊的作用示例：表1.10基于SC-LSTM方法的自然語言生成示例SC-LSTM系統(tǒng)端輸入：['Inform','景點','名稱','天安門廣場']系統(tǒng)端輸出：推薦您去天安門廣場游玩。用戶端輸入：['Inform','餐館','人均消費','100-150元'],['Request','餐館','電話','']用戶端輸出：好的，請給我推薦一家人均消費100-150元的餐館吃飯，這家的電話是多少？對話系統(tǒng)總體流程及成果展示對話系統(tǒng)總體設(shè)計流程圖1.3系統(tǒng)流程多輪對話系統(tǒng)測試如表1.11所示，在多輪對話系統(tǒng)的測試過程中，用戶輸入請求語句，系統(tǒng)會實時的反饋用戶意圖的識別情況，以及系統(tǒng)下一步行為的預(yù)測，并生成最終給用戶的答復(fù)。系統(tǒng)會根據(jù)預(yù)定義的對話狀態(tài)，每一輪交互中都會更新用戶的行為，直至語義槽填充完畢。在這里依次集成了BERTNLU模型、RuleDST模型、基于監(jiān)督學(xué)習(xí)的對話策略學(xué)習(xí)模型和基于語義控制的LSTM模型用于系統(tǒng)測試。表1.11系統(tǒng)測試示例系統(tǒng)測試結(jié)果用戶輸入：你好，麻煩幫我推薦一個門票免費的景點。系統(tǒng)輸出：推薦您去天安門廣場游玩。用戶輸入：天安門廣場不錯，這附