人工智能基礎(chǔ)與應(yīng)用 課件 7.2自然語言處理基本任務(wù)

人工智能基礎(chǔ)與應(yīng)用自然語言處理的基礎(chǔ)技術(shù)主講人：朱德義人工智能課程團(tuán)隊(duì)目錄|

CONTENTS相關(guān)技術(shù)概念和內(nèi)容01文本語料庫02文本預(yù)處理0301相關(guān)技術(shù)概念和內(nèi)容自然語言處理的基礎(chǔ)技術(shù)想象一下，你正在使用智能語音助手查詢明天的天氣。你對著手機(jī)說：“明天天氣怎么樣？”語音助手能夠準(zhǔn)確地識(shí)別你的語音內(nèi)容，理解你的問題，并快速給出明天的天氣預(yù)報(bào)信息。又比如，當(dāng)你在網(wǎng)上閱讀新聞時(shí)，搜索引擎能夠根據(jù)你輸入的關(guān)鍵詞，準(zhǔn)確地找到相關(guān)的新聞文章。這得益于自然語言處理技術(shù)對文本的分析和理解，這個(gè)看似簡單的過程背后，涉及到了眾多自然語言處理的基礎(chǔ)技術(shù)。相關(guān)技術(shù)概念（1）分詞技術(shù)是對自然語言文本進(jìn)行分析，將其分割成一個(gè)個(gè)有意義的詞匯單元，即詞組。這個(gè)過程也包括對詞匯的詞性標(biāo)注、命名實(shí)體識(shí)別等。（4）語用分析考慮語言在實(shí)際使用中的情境和目的，以及說話者的意圖等因素。(2)句法分析是分析自然語言句子的結(jié)構(gòu)，確定句子中各個(gè)詞匯之間的語法關(guān)系。（3）語義理解旨在分析自然語言文本的意義。它不僅僅關(guān)注詞匯的表面含義，還考慮詞匯在特定語境下的實(shí)際意義，以及句子的整體語義。（5）機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用于自然語言處理中，以自動(dòng)學(xué)習(xí)語言的模式和規(guī)律。例如，可以使用監(jiān)督學(xué)習(xí)算法訓(xùn)練分類器，對文本進(jìn)行分類；或者使用無監(jiān)督學(xué)習(xí)算法進(jìn)行聚類分析、詞向量表示學(xué)習(xí)等。02文本語料庫文本語料庫語料庫是經(jīng)過科學(xué)取樣和加工的大規(guī)模電子文本庫，不僅是原始語料的集合，還是有結(jié)構(gòu)并且標(biāo)注了語法、語義、語音、語用等語言信息的語料集合。文本語料庫文本語料庫庫名說明NLTKNLTK是一個(gè)用于構(gòu)建處理自然語言數(shù)據(jù)的Python應(yīng)用開源平臺(tái)，也是基于Python實(shí)現(xiàn)的自然語言處理庫jiebajieba庫可提供精確模式、全模式、搜索引擎模式3種分詞模式Sklearn-crfsuiteSklearn-crfsuite是基于CRFsuite庫的一款輕量級條件隨機(jī)場（ConditionalRandomField，CRF）庫。Sklearn-crfsuite不僅提供CRF的訓(xùn)練和預(yù)測方法，還可提供評測方法JoblibJoblib是一組在Python中提供輕量級管道的工具。例如，可提供函數(shù)的透明磁盤緩存和延遲重新計(jì)算、簡單并行計(jì)算gensimgensim庫是一個(gè)用于主題建模和文檔相似度分析的Python庫。gensim支持多種主題建模算法，如潛在狄利克雷分配（LatentDirichletAllocation，LDA）和非負(fù)矩陣分解（Non-negativeMatrixFactorization，NMF）；提供文檔相似度計(jì)算的函數(shù)、Word2Vec和Doc2Vec等詞向量表示模型；gensim庫支持模型的持久化保存和加載imageioimageio可提供一個(gè)簡單的接口來讀取和寫入大量的圖像數(shù)據(jù)，包括動(dòng)畫圖像、體積數(shù)據(jù)和科學(xué)格式數(shù)據(jù)Python中常見的自然語言處理庫文本語料庫語料庫的實(shí)質(zhì)是經(jīng)過科學(xué)取樣和加工的大規(guī)模電子文本庫。語料庫具備以下3個(gè)顯著的特征。（1）語料庫中存放的是真實(shí)出現(xiàn)過的語言材料。（2）語料庫是以計(jì)算機(jī)為載體、承載語言知識(shí)的基礎(chǔ)資源。（3）語料庫是對真實(shí)語料進(jìn)行加工、分析和處理的資源。語料庫不僅是原始語料的集合，還是有結(jié)構(gòu)并且標(biāo)注了語法、語義、語音、語用等語言信息的語料集合。03文本預(yù)處理文本預(yù)處理

在自然語言處理（NLP）中，文本預(yù)處理是所有任務(wù)的首要步驟。它涉及一系列操作，旨在將原始文本轉(zhuǎn)換為計(jì)算機(jī)可以理解和處理的格式。預(yù)處理的質(zhì)量直接影響到后續(xù)NLP任務(wù)的效果。文本預(yù)處理的概念數(shù)據(jù)收集與加載01文本預(yù)處理的步驟詞向量化07文本清洗02文本標(biāo)準(zhǔn)化03分詞/Tokenization04停用詞移除05詞干提取、詞形還原06文本預(yù)處理代碼示例Python

importjieba

deftokenize_text(text):#使用jieba進(jìn)行分詞

words=jieba.cut(text)returnlist(words)

text="我愛自然語言處理"tokens=toke