《Spark大數(shù)據(jù)處理技術》教學大綱

《Spark大數(shù)據(jù)處理技術》教學大綱課程編號：13210718英文名稱：SparkBigDataProcessingTechnology學分：3學時：總學時64學時，其中理論32學時，實踐32學時先修課程：程序設計課程類別：專業(yè)方向課程授課對象：數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)學生教學單位：機械與電氣工程學院修讀學期：第6學期一、課程描述和目標Spark大數(shù)據(jù)處理技術主要針對大數(shù)據(jù)技術與應用、數(shù)據(jù)科學、計算機與電子信息等專業(yè)學生，主要講解基于Spark框架下的分布式數(shù)據(jù)收集、分布式數(shù)據(jù)存儲、分布式數(shù)據(jù)計算、分布式數(shù)據(jù)展示，并結合相關的開源包使用Scala進行實現(xiàn)，以加深學生對所學內容的理解。通過本課程教學，使學生對分布式大數(shù)據(jù)技術有一個全面的了解，掌握基本的信息內容采集、存儲和分析方法，并且具備一定的針對具體信息采集需求的實際運用和解決能力。本課程的主要內容包括：Scala語言基礎與Spark基礎；SparkRDD彈性分布式數(shù)據(jù)集；SparkSQL結構化數(shù)據(jù)文件處理；Kafka分布式發(fā)布訂閱消息系統(tǒng)；SparkStreaming實時計算框架；SparkMLlib機器學習算法庫；并提供一個應用實例。本課程擬達到的課程目標:通過本課程的學習，學生的計算思維能明顯提升，能夠通過編寫程序研究與計算機相關的復雜工程問題。具體的課程目標如下：課程目標1：能夠理解互聯(lián)網(wǎng)大數(shù)據(jù)基于Spark的技術體系、主要技術。課程目標2：掌握Spark相關的各種典型技術原理、技術框架、實現(xiàn)方法、主要開源包的使用。課程目標3：理解基于Spark的分布式數(shù)據(jù)的處理方法、文本處理與相關的挖掘方法，并會使用Scala進行技術實現(xiàn)。二、課程目標對畢業(yè)要求的支撐關系畢業(yè)要求指標點課程目標權重3-1：能夠設計針對大數(shù)據(jù)系統(tǒng)工程問題的解決方案，包括滿足特定需求的系統(tǒng)架構、數(shù)據(jù)庫設計、數(shù)據(jù)挖掘方法、系統(tǒng)實現(xiàn)、測試與驗證等，并在設計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。課程目標1H4-2：能夠基于數(shù)據(jù)科學的方法和原理，就大數(shù)據(jù)工程應用中涉及的信息處理、數(shù)據(jù)關聯(lián)、模型預測等數(shù)據(jù)挖掘問題進行研究，設計相關的實驗方案，并對結果或數(shù)據(jù)進行分析與總結，得到合理有效的結論。課程目標2H5-2：能夠針對大數(shù)據(jù)工程問題，為預測與分析工程模型選擇和使用合適的現(xiàn)代工程工具和信息技術工具，并能理解其局限性。課程目標3M三、教學內容、基本要求與學時分配序號教學內容基本要求及重、難點（含德育要求）學時教學方式對應課程目標1Scala語言基礎1. 了解Scala的特點2. 掌握Scala和IDEA的下載安裝3. 掌握Scala的基礎語法4. 掌握Scala的數(shù)據(jù)結構5. 熟悉Scala面向對象的特性6. 掌握Scala的模式匹配與樣例類樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習課程目標12Spark基礎1. 掌握Spark集群的搭建和配置2. 掌握SparkHA集群的搭建和配置3. 掌握Spark集群架構4. 理解Spark作業(yè)提交的工作原理樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習課程目標13SparkRDD彈性分布式數(shù)據(jù)集1. 了解HDFS演變2. 掌握HDFS特點3. 掌握HDFS的架構和原理4. 掌握HDFS的Shell和JavaApi操作樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習課程目標24SparkSQL結構化數(shù)據(jù)文件處理1. 理解SparkSQL基本概念及其架構2. 掌握DataFrame/Dataset的常用操作3. 掌握RDD轉換DataFrame的方式4. 掌握SparkSQL操作數(shù)據(jù)源樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習課程目標25HBase分布式數(shù)據(jù)庫1. 理解HBase的數(shù)據(jù)模型2. 掌握HBase的集群部署3. 理解HBase的架構4. 理解HBase讀寫數(shù)據(jù)流程5. 掌握HBase與Hive的整合樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習課程目標26Kafka分布式發(fā)布訂閱消息系統(tǒng)1. 掌握基本的消息傳遞模式2. 掌握Kafka集群部署3. 掌握Kafka基本操作4. 了解KafkaStreamsAPI的使用樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。2講授演示練習課程目標27SparkStreaming實時計算框架1. 了解什么是實時計算2. 理解SparkStreaming工作原理3. 掌握DStream的轉換操作4. 掌握DStream的窗口操作5. 掌握DStream的輸出操作6. 掌握SparkStreaming和Kafka整合樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習課程目標28SparkMLlib機器學習算法庫1. 了解什么是機器學習2. 掌握機器學習的工作流程3. 了解SparkMLlib的基本使用方式4. 了解電影推薦系統(tǒng)的構建流程樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。4講授演示練習課程目標39綜合案例——Spark實時交易數(shù)據(jù)統(tǒng)計1. 熟悉Spark實時計算系統(tǒng)架構2. 掌握看板平臺開發(fā)業(yè)務流程3. 熟悉系統(tǒng)環(huán)境搭建步驟4. 掌握Redis和WebSocket基本使用方式樹立學好專業(yè)知識、助力中國夢的信念；獲取仰望星空、探索創(chuàng)新的精神動力。6講授演示練習課程目標3合計32序號實驗項目實驗內容與要求學時類型對應課程目標1Scala語言基礎Scala的下載安裝;在IDEA開發(fā)工具中下載安裝Scala插件;開發(fā)第一個Scala程序。必修2驗證課程目標12Spark基礎搭建Spark開發(fā)環(huán)境;體驗第一個Spark程序;IDEA開發(fā)WordCount程序。必修2驗證課程目標13SparkRDD彈性分布式數(shù)據(jù)集RDD的創(chuàng)建;RDD在Spark中的運行流程。必修2驗證課程目標24SparkSQL結構化數(shù)據(jù)文件處理DataFrame的創(chuàng)建與常用操作；Dataset對象的創(chuàng)建；RDD轉換DataFrame；SparkSQL操作MySQL；操作Hive數(shù)據(jù)集。必修4驗證課程目標25HBase分布式數(shù)據(jù)庫HBase的集群部署；HBase的Shell操作；HBase的JavaAPI操作；HBase讀寫數(shù)據(jù)流程；HBase和Hive的整合。選修4驗證課程目標26Kafka分布式發(fā)布訂閱消息系統(tǒng)安裝與啟動Kafka；基于命令行方式使用Kafka；基于JavaAPI方式使用Kafka；KafkaStreams開發(fā)單詞計數(shù)。選修4驗證課程目標27SparkStreaming實時計算DStream編程模型、轉換操作、窗口操作、輸出操作；DStream實例—實現(xiàn)網(wǎng)站熱詞排序。必修4驗證課程目標28SparkMLlib機器學習Spark機器學習工作流程；利用MLlib實現(xiàn)電影推薦。必修5綜合課程目標39綜合案例Spark實時交易數(shù)據(jù)統(tǒng)計。必修5綜合課程目標3合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設計等。四、課程教學方法理論教學：主要采用課堂講授、程序演示、小組討論等方式。實驗教學：項目講解、學生自主實驗、個別輔導、程序分析等方式。五、學業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內容、考核標準、成績占比等，考核方法、內容應突出“學生中心、產(chǎn)出導向”。（一）考核方式及具體要求1.課程成績構成與要求課程考核注重形成性和終結性評價相結合，考核內容主要由平時作業(yè)、章節(jié)測試、實驗、期末考核組成，均按百分制計分，其中期末考核成績占50%、平時作業(yè)成績占10%、課堂表現(xiàn)成績占10%、實驗成績占30%。2.課程目標達成考核與評價序號考核方式課程目標1（分值）課程目標2（分值）課程目標3（分值）合計1平時作業(yè)334102課堂表現(xiàn)334103實驗10155304期末考試20201050課程目標對應分值364123100（二）考核與評價標準1.平時成績考核與評價標準分值觀測點90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內容齊全，基本知識點理解、掌握到位。能夠利用理論知識識別、分析領域相關專業(yè)問題。按時完成，70%以上的作業(yè)內容齊全，基本知識點理解、掌握較到位。能夠較好利用理論知識識別、分析領域相關專業(yè)問題。延時完成，60%以上的作業(yè)內容齊全，基本知識點理解、掌握基本到位。利用理論知識對領域相關專業(yè)問題有一定的識別、分析。不交和補交，50%以下的作業(yè)內容齊全，基本知識點理解、掌握有偏差。不能利用理論知識對領域相關專業(yè)問題進行識別、分析。2.課堂表現(xiàn)評價標準出勤，遲到1次扣0.5分，無故曠課1次扣1分；上課玩手機1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實驗評價標準分值觀測點90-100分70-89分60-69分0-59分實驗獨立正確完成實驗內容，方法具有一定的創(chuàng)新性，認真撰寫實驗報告和實驗心得和總結。獨立正確完成實驗，方法沒有太多創(chuàng)新，提交實驗報告和總結。完成實驗，結果基本正確，實驗報告和總結比較隨意。實驗沒有完成，或結果不正確，沒有提交實驗報告和實驗總結。4.期末大作業(yè)考核與評價標準期末考試成績采用項目大作業(yè)的考核方式，在規(guī)定時間內完成一個小型項目，提交項目代碼，同時附項目的解決思路、實施步驟、結果、個人體會等內容。優(yōu)秀：思路正確，方案很好，步驟清楚，實現(xiàn)了所有功能，。良好：思路正確，方案可行，步驟清楚，實現(xiàn)了大部分功能。中等：思路正確，方案