文本數(shù)據(jù)分析海洋大數(shù)據(jù)分析與應(yīng)用天津海運職業(yè)課件

新知傳授任務(wù)實施課堂小結(jié)文本數(shù)據(jù)分析《海洋大數(shù)據(jù)分析與應(yīng)用》天津海運職業(yè)學(xué)院新課導(dǎo)入學(xué)習(xí)目標(biāo)課中講授實操演練課堂小結(jié)了解熟悉掌握掌握了解NLTK與jieba12掌握文本預(yù)處理，文本情感分析掌握文本相似度，文本分類34熟悉NLTK與jieba庫的安裝大國崛起，樹立民族自豪感和社會責(zé)任感手機芯片市場份額，華為麒麟芯片的自主研發(fā)，將塑造大國信仰、科技獨立自主的傳承等案例融入（思政目標(biāo)），增強學(xué)生對專業(yè)的理解和認同，提升專業(yè)基礎(chǔ)知識和自主設(shè)計學(xué)習(xí)熱情（教學(xué)目標(biāo)），使學(xué)生理解電子科技對國家政治、經(jīng)濟中的重要性。01文本數(shù)據(jù)分析工具02文本預(yù)處理03文本情感分析新課導(dǎo)入學(xué)習(xí)目標(biāo)課中講授實操演練課堂小結(jié)自然語言處理（NLP）領(lǐng)域是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，它主要研究實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授通過一張表來列舉NLTK中用于語言處理任務(wù)的一些常用模塊。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授NLTK中語言處理任務(wù)的常用模塊。（續(xù)表）新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授Jieba庫擁有以下一些特點：支持三種分詞模式支持繁體分詞支持自定義詞典新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授Jieba庫支持以下三種分詞模式：精確模式試圖將句子最精確地切開，適合文本分析。全模式把句子中所有可以成詞的詞語都掃描出來,速度非?？?，但是不能解決歧義。搜索引擎模式在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授大家可以參考/fxsjy/jieba網(wǎng)址進行全面學(xué)習(xí)。后期在使用到j(luò)ieba庫的某些功能時，會再另行單獨介紹。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授02文本預(yù)處理預(yù)處理的流程文本預(yù)處理一般包括分詞、詞形歸一化、刪除停用詞，具體流程如下所示：新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授根據(jù)中文的結(jié)構(gòu)特點，可以把分詞算法分為以下三類：基于規(guī)則的分詞方法按照一定的策略將待分析的中文句子與一個“充分大的”機器詞典中的詞條進行匹配。基于統(tǒng)計的分詞方法它的基本思想是常用的詞語是比較穩(wěn)定的組合?；诶斫獾姆衷~方法它的基本思想是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。凡是有度，過猶不及

語法規(guī)則強制類型轉(zhuǎn)換就好比將大瓶水倒入到小瓶中一樣，如果大瓶中的水的容量小于小瓶的大小，那么水是可以完全倒入的；否則多出來的水就會溢出。告知同學(xué)們水滿則溢，日滿則虧，人生的巧妙就在于做人有尺、做事有度，情感、情緒、理智處在平衡狀態(tài)，不要過猶不及。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授要想使用NLTK對英文句子分詞，則可以調(diào)用word_tokenize()函數(shù)基于空格或標(biāo)點進行劃分，并返回單詞列表。sentence='Ilikebule.'#將句子切分為單詞words=nltk.word_tokenize(sentence)['I','like','bule','.']新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授要想使用jieba對中文句子分詞，則可以通過jieba.cut()

函數(shù)進行劃分，該函數(shù)接收如下三個參數(shù)：

需要分詞的字符串。cut_all參數(shù)用來控制是否采用全模式。HMM參數(shù)用來控制是否使用HMM模型。新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授如果將cut_all參數(shù)設(shè)為True，則表示按照全模式進行分詞，示例如下：sentence='傳智專修學(xué)院推出顛覆式辦學(xué)模式'#全模式劃分中文句子terms_list=jieba.cut(sentence,cut_all=True)print('【全模式】：'+'/'.join(terms_list))【全模式】：傳/智/專修/修學(xué)/學(xué)院/推出/顛覆/式/辦學(xué)/模式新知講授課中講授實操演練課堂小結(jié)新課導(dǎo)入課中講授如果將cut_all參數(shù)設(shè)為False，則表示的是按照精確模式進行分詞，示例如下：sentence='傳智專修學(xué)院推出顛覆式辦學(xué)模式'#全模式劃分中文句子terms_list=jieba.cut(sentence,cut_all=False)print('【精確模式】：'+'/'.join(terms_list))【精確模式】：傳智/專修/學(xué)院/推出/顛覆/式/辦學(xué)/模式新知講授課堂小結(jié)新課導(dǎo)入課中講授課中講授實操演練案例—商品評價信息分析importpandasaspdfromnltkimportFreqDistimportjiebafile_path=open(r'C:\Users\admin\Desktop\商品評價信息.csv')file_data=pd.read_csv(file_path)file_data新知講授課堂小結(jié)新課導(dǎo)入課中講授課中講授實操演練案例—商品評價信息分析#加載停用詞表file_path=open(r'C:\Users\admin\Desktop\停用詞表.txt',encoding='utf-8')stop_words=file_path.read()#刪除停用詞#新建一個空列表，用于存儲刪除停用詞后的數(shù)據(jù)new_data=[]forwordincut_words:ifwordnotinstop_words:new_data.append(word)new_data新知講授課堂小結(jié)新課導(dǎo)入課中講授課中講授實操演練案例—商品評價信息分析#導(dǎo)入所需要使用的包frommatplotlibimportpyplotaspltfromwordcloudimportWordCloud#詞云顯示font=r'C:\Windows\Fonts\STXINGKA.TTF'#華文行楷wc=WordCloud(font_path=font,background_color='white',width=1000,height=800).generate("".join(new_data))plt.imshow(wc)#用plt顯示圖片plt.axis('off')#不顯示坐標(biāo)軸plt.show()#顯示圖片課堂小結(jié)新課導(dǎo)入課中講授課中講授實操演練課堂小結(jié)本章主要介紹了文本分析的相關(guān)知識，具體包括文本分析工具的安裝及基本使用、文本預(yù)處理和文本情感分析，最后結(jié)合所學(xué)的知識開發(fā)了一個商品評價分析的案例。希望大家通過對本章的學(xué)習(xí)，可以理解文本數(shù)據(jù)分析的原理，以便后續(xù)能基于機器學(xué)習(xí)更深入地去探索。團