Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）-教案 項(xiàng)目七 Hive實(shí)戰(zhàn)

Hive實(shí)戰(zhàn)教學(xué)單元名稱Hive簡介及應(yīng)用場景教學(xué)目標(biāo)能力目標(biāo)獨(dú)立查閱相關(guān)資料的能力知識目標(biāo)掌握Hive的工作原理和特點(diǎn)。了解Hive的應(yīng)用場景。了解Sqoop的原理及特點(diǎn)。素質(zhì)目標(biāo)接受新知識、自主學(xué)習(xí)、查閱資料的能力教學(xué)重點(diǎn)1、Hive的工作原理和特點(diǎn)。2、Hive的應(yīng)用場景。3、Sqoop的原理及特點(diǎn)。教學(xué)難點(diǎn)Hive的工作原理和特點(diǎn)教學(xué)方法提問法、討論法、講授法教學(xué)時(shí)數(shù)2學(xué)時(shí)教學(xué)過程設(shè)計(jì)教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入數(shù)據(jù)倉庫的應(yīng)用場景講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——了解Hive講解聽講記錄課程要點(diǎn)講解Hive概述關(guān)鍵字：特性、產(chǎn)生歷程講解搜集資料、交流Hive應(yīng)用場景講解對不同子項(xiàng)目進(jìn)行綜合講解詳細(xì)講解1．Hive概述ApacheHive是由Apache軟件基金會的志愿者Facebook提供的開源項(xiàng)目，開源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)工具，最初是ApacheHadoop下的一個(gè)子項(xiàng)目，后來升級為Apache的頂級項(xiàng)目。Hive的本質(zhì)是將HQL轉(zhuǎn)化成MapReduce程序，HQL轉(zhuǎn)化成MapReduce的流程如圖所示：講解分組討論2、Hive應(yīng)用場景使用Hive進(jìn)行數(shù)據(jù)分析時(shí)具有以下優(yōu)點(diǎn)：（1）操作接口采用類SQL語法，提供快速開發(fā)的能力，便于理解。（2）Hive的執(zhí)行延遲比較高，因此Hive常用于數(shù)據(jù)分析對實(shí)時(shí)性要求不高的場合。（3）Hive優(yōu)勢在于處理大數(shù)據(jù)，對于處理小數(shù)據(jù)沒有優(yōu)勢，因?yàn)镠ive的執(zhí)行延遲比較高。（4）Hive支持用戶自定義函數(shù)，用戶可以根據(jù)自己的需求來實(shí)現(xiàn)自己的函數(shù)。使用Hive在數(shù)據(jù)分析時(shí)處理具有以上優(yōu)點(diǎn)以外，還有其缺點(diǎn)，主要體現(xiàn)在以下幾個(gè)方面：（5）Hive的HQL表達(dá)能力有限迭代式算法無法表達(dá)遞歸算法；Hive不擅長數(shù)據(jù)挖掘方面操作，即不擅長數(shù)據(jù)挖掘和算法機(jī)器學(xué)習(xí)。（6）Hive的效率比較低Hive自動生成的MapReduce作業(yè)，通常情況下不夠智能化，Hive調(diào)優(yōu)比較困難，粒度較粗。講解聽講記錄、交流教學(xué)小結(jié)根據(jù)課堂教學(xué)情況，之處學(xué)生對本堂課中知識點(diǎn)難以理解的地方，結(jié)合教學(xué)重點(diǎn)和難點(diǎn)，對所學(xué)知識進(jìn)一步強(qiáng)化。講解學(xué)生記錄布置作業(yè)1.簡述MySQL在Hive中的作用。2.簡述Sqoop是如何進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出的？Hive實(shí)戰(zhàn)教學(xué)單元名稱Hive安裝及操作教學(xué)目標(biāo)能力目標(biāo)具有獨(dú)立自主的開發(fā)能力和解決問題的能力知識目標(biāo)掌握Hive環(huán)境搭建掌握本地?cái)?shù)據(jù)上傳至本地倉掌握sqoop環(huán)境的配置掌握Hive與MySql數(shù)據(jù)互傳素質(zhì)目標(biāo)接受新知識、自主學(xué)習(xí)解決問題、創(chuàng)新的能力教學(xué)重點(diǎn)1、掌握Hive環(huán)境搭建2、掌握本地?cái)?shù)據(jù)上傳至本地倉3、掌握sqoop環(huán)境的配置4、掌握Hive與MySql數(shù)據(jù)互傳教學(xué)難點(diǎn)本地?cái)?shù)據(jù)上傳至本地倉和Hive與MySql數(shù)據(jù)互傳教學(xué)方法項(xiàng)目向?qū)?、任?wù)驅(qū)動、分組討論教學(xué)時(shí)數(shù)16學(xué)時(shí)教學(xué)過程設(shè)計(jì)教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入介紹Hive數(shù)據(jù)倉和Mysql數(shù)據(jù)庫講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——Hive環(huán)境搭建及其數(shù)據(jù)倉應(yīng)用講解聽講記錄任務(wù)部署1完成Hive環(huán)境搭建講解搜集資料、交流任務(wù)實(shí)施11.將Hive安裝包傳送到Linux操作系統(tǒng)服務(wù)器端scp./apache-hive-2.3.4-bin.tarhadoop@192.168.153.134:/home/hadoop講解演示模仿操作2.將Hive安裝包解壓到/usr/local目錄下，并進(jìn)行解壓，解壓完成之后進(jìn)行更名tar-zxvfapache-hive-2.3.4-bin.tar-C/usr/localmvapache-hive-2.3.4-bin.tarhive講解演示模仿操作3．修改組用戶屬性sudochown-Rhadoop：hadoophive講解演示模仿操作4．配置Hive環(huán)境變量 ·vim~/.bashrc ·在最下方加入如下代碼： #Hive_ENV exportHIVE_HOME=/usr/local/hive exportPATH=$PATH:$HIVE_HOME/bin

講解演示模仿操作5.測試Hadoop是否安裝成功source~/.bashrc講解演示模仿操作6.配置hive配置文件（注意該配置文件中的密碼與在mysql中創(chuàng)建的hive密碼應(yīng)該一致。創(chuàng)建hive用戶，密碼為dashuju168）講解演示歸納總結(jié)模仿操作記錄任務(wù)部署2安裝MySQL講解演示模仿操作任務(wù)實(shí)施21．升級系統(tǒng)安裝包sudoapt-getupdatesudoapt-getinstallmysql-server（注意：在該步驟中如果遇到mysql被鎖的情況（locked），則執(zhí)行sudorm/var/lib/dpkg/locksudodpkg--configure-a）講解演示模仿操作2．配置root用戶名sudomysql_secure_installation設(shè)置root用戶名，密碼為123456（在該步驟中都選擇y（yes））登錄mysqlsudomysql-uroot-p講解演示模仿操作3．將mysql-connector-java-8.0.16.tar上傳至Linux操作系統(tǒng)中（Linux下mysql必須安裝驅(qū)動）解壓到當(dāng)前目錄下tar-xzvfmysql-connector-java-8.0.16.tar講解演示模仿操作4．cd到connector-java-8.0.16.tar解壓包目錄下，將該目錄下的mysql…….jar拷貝到/usr/local/hive/lib/下，并切換回~目錄cdcon+TABcpmysql…….jar/usr/local/hive/lib/cd~講解演示模仿操作5.進(jìn)入root用戶sudomysql-uroot-p創(chuàng)建hive用戶，密碼為dashuju168createuser'hive'@'localhost'identifiedby'dashuju168';講解演示歸納總結(jié)模仿操作記錄6.配置mysql允許hive接入grantallprivilegeson*.*to'hive'@'localhost'withgrantoption;flushprivileges(保存，表同步)驗(yàn)證hive用戶是否能用sudomysql-uhive-p任務(wù)部署3本地?cái)?shù)據(jù)上傳至本地倉講解演示模仿操作任務(wù)實(shí)施31．將user.zip文件上傳至CentOS7中scp./user.ziphadoop@IP地址:/home/hadoop講解演示模仿操作2．在/usr/local下面創(chuàng)建bigdatacase目錄，在bigdatacase目錄下創(chuàng)建dataset目錄 cd/usr/local mkdirbigdatacase cdbigdatacase mkdirdataset講解演示模仿操作3.將user.zip上傳至CentOS7中scp./user.ziphadoop@IP地址:/home/hadoop講解演示歸納總結(jié)模仿操作記錄4.下載unzip軟件

sudoapt-getinstallunzip

將user.zip解壓至datatcase目錄中

unzipuser.zip-d/usr/local/bigdatacase/datatset5.數(shù)據(jù)集的預(yù)處理

(1)刪除文件第一行記錄

sed-i'1d'small_user.csv

head-10small_user.csv

(2)對字段進(jìn)行預(yù)處理

編寫pre_deal.sh

（3）執(zhí)行pre_deal.sh

cd/usr/local/bigdatacase/dataset

bash./pre_deal.shsmall_user.csvuser_table.txt

head-10user_table.txt講解演示歸納總結(jié)模仿操作記錄任務(wù)部署4導(dǎo)入數(shù)據(jù)庫講解演示模仿操作任務(wù)實(shí)施41.將user_table.txt上傳至HDFS上

在HDFS上創(chuàng)建/bigdatacase/dataset

cd/usr/local/hadoop

hdfsdfs-mkdir-p/bigdatacase/dataset

在hadoop目錄下操作命令：hdfsdfs-put/usr/local/bigdatacase/dataset/user_table.txt/bigdatacase/dataset

查看HDFS上user_table.txt的前10行

hdfsdfs-cat/bigdatacase/dataset/user_table.txt|head10講解演示模仿操作2.在Hive上創(chuàng)建數(shù)據(jù)庫(1)啟動mysql服務(wù)service mysqlstart（2）啟動hivecd/usr/local/hiveHive(3)在hive中創(chuàng)建一個(gè)數(shù)據(jù)庫dblab；createdatabasedblab;usedblab;講解演示模仿操作創(chuàng)建外部表講解演示模仿操作4.查詢hive中的數(shù)據(jù)select*frombigdata_userlimit10;講解演示模仿操作任務(wù)部署5Sqoop的安裝及配置講解演示模仿操作任務(wù)實(shí)施5安裝sqoop講解演示模仿操作配置sqoop-env.sh文件講解演示模仿操作配置環(huán)境變量講解演示模仿操作講解演示模仿操作測試與mysql是否連通講解演示歸納總結(jié)模仿操作記錄任務(wù)部署6mysql數(shù)據(jù)導(dǎo)入到hive中講解演示模仿操作任務(wù)實(shí)施6進(jìn)入到mysql中sudomysql-uhive-pdashuju168

showdatabases；

createdatauserdb;

createtableifnotexistsuuser(idintunsignedauto_incrementunamevarchar(128)notnull,uphonevarchar(11)notnull,PRIMARYKEY(id))ENGINE=InnoDBDEFAULTCHARSET=utf8;

insertintouuservalue(NULL,'JackMa','12345678901');

insertintouuservalue(NULL,'ZhangSan','11111111111');

insertintouuservalue(NULL,'LiSi','22222222222');講解演示模仿操作2.將mysql數(shù)據(jù)導(dǎo)入到hive中

sqoopimport--connectjdbc:mysql://localhost:3306/userdb--usernamehive--passworddashuju168--tableuuser--hive-import-m1--fields-terminated-by','--hive-tableuuser2（uuser位于hadoop偽分布式下的/user/hadoop/uuser）

cp/usr/local/hive/lib/hive-common-…….jar/usr/local/sqoop/lib/

hadoopfs-rm-ruuser講解演示模仿操作3.查看mysql數(shù)據(jù)導(dǎo)入到hive中

showtables；

select*fromuuser2；講解演示模仿操作4.將hive中的數(shù)據(jù)導(dǎo)入到mysql中

（1）進(jìn)入mysql

sudomysql-uhive-pdashuju168

useuserdb;

createtableuuser3likeuuser;(復(fù)制表結(jié)構(gòu))

descuuser3；查看表結(jié)構(gòu)

（2）從hive中導(dǎo)出數(shù)據(jù)到mysql中

sqoopexport--connectjdbc:mysql://localhost:3306/userdb--usernamehive--passworddashuju168--tableuuser3