Spark大數(shù)據(jù)分析 課件 5.1 Spark SQL簡介

SparkSQL簡介目錄/Contents01什么是SparkSQL02SparkSQL架構(gòu)什么是SparkSQL01什么是SparkSQLSparkSQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)（結(jié)構(gòu)化數(shù)據(jù)可以來自外部結(jié)構(gòu)化數(shù)據(jù)源也可以通過RDD獲?。┑囊粋€模塊，它提供了一個編程抽象叫做DataFrame并且作為分布式SQL查詢引擎的作用。外部的結(jié)構(gòu)化數(shù)據(jù)源包括JSON、Parquet(默認(rèn))、RMDBS、Hive等。當(dāng)前SparkSQL使用Catalyst優(yōu)化器來對SQL進(jìn)行優(yōu)化，從而得到更加高效的執(zhí)行方案。并且可以將結(jié)果存儲到外部系統(tǒng)。什么是SparkSQLSparkSQL的前身是Shark,Shark最初是美國加州大學(xué)伯克利分校的實驗室開發(fā)的Spark生態(tài)系統(tǒng)的組件之一,它運行在Spark系統(tǒng)之上,Shark重用了Hive的工作機制,并直接繼承了Hive的各個組件，Shark將SQL語句的轉(zhuǎn)換從MapReduce作業(yè)替換成了Spark作業(yè)，雖然這樣提高了計算效率,但由于Shark過于依賴Hive,因此在版本迭代時很難添加新的優(yōu)化策略，從而限制了Spark的發(fā)展,在2014年,伯克利實驗室停止了對Shark的維護(hù),轉(zhuǎn)向SparkSQL的開發(fā)。SparkSQL主要提供了以下3個功能。什么是SparkSQL(1)SparkSQL可以從各種結(jié)構(gòu)化數(shù)據(jù)源(如JSON、Hive、Parquet等)中讀取數(shù)據(jù),進(jìn)行數(shù)據(jù)分析。(2)SparkSQL包含行業(yè)標(biāo)準(zhǔn)的JDBC和ODBC連接方式，因此它不局限于在Spark程序內(nèi)使用SQL語句進(jìn)行查詢。(3)SparkSQL可以無縫地將SQL查詢與Spark程序進(jìn)行結(jié)合，它能夠?qū)⒔Y(jié)構(gòu)化數(shù)據(jù)作為Spark中的分布式數(shù)據(jù)集(RDD)進(jìn)行查詢，在Python、Scala和Java中均集成了相關(guān)API,這種緊密的集成方式能夠輕松地運行SQL查詢以及復(fù)雜的分析算法。

SparkSQL架構(gòu)02SparkSQL架構(gòu)SparkSQL架構(gòu)與Hive架構(gòu)相比除了把底層的MapReduce執(zhí)行引擎更改為Spark還修改了Catalyst優(yōu)化器，SparkSQL快速的計算效率得益于Catalyst優(yōu)化器。從HiveQL被解析成語法抽象樹起，執(zhí)行計劃生成和優(yōu)化的工作全部交給SparkSQL的Catalyst優(yōu)化器進(jìn)行負(fù)責(zé)和管理。SparkSQL快速的計算效益得益于Catalyst優(yōu)化器。從HiveQL被解析成語法抽象樹起，執(zhí)行計劃生成和優(yōu)化的工作全部交給SparkSQL的Catalyst優(yōu)化器負(fù)責(zé)和管理。如圖7-1所示為SparkSQL整體架構(gòu)。SparkSQL架構(gòu)Catalyst優(yōu)化器是一個新的可擴展的查詢優(yōu)化器，它是基于Scala函數(shù)式編程結(jié)構(gòu)，SparkSQL開發(fā)工程師設(shè)計可擴展架構(gòu)主要是為了在今后的版本迭代時，能夠輕松地添加新的優(yōu)化技術(shù)和功能，尤其是為了解決大數(shù)據(jù)生產(chǎn)環(huán)境中遇到的問題（例如，針對半結(jié)構(gòu)化數(shù)據(jù)和高級數(shù)據(jù)分析），另外，Spark作為開源項目，外部開發(fā)人員可以針對項目需求自行擴展Catalyst優(yōu)化器的功能。SparkSQL架構(gòu)Catalyst主要的實現(xiàn)組件介紹如下。1、sqlParse:完成sql語句的語法解析功能，目前只提供了一個簡單的sql解析器；2、Analyzer:主要完成綁定工作，將不同來源的UnresolvedLogicalPlan和數(shù)據(jù)元數(shù)據(jù)（如hivemetastore、Schemacatalog）進(jìn)行綁定，生成resolvedLogicalPlan；3、Optimizer:對resolvedLogicalPlan進(jìn)行優(yōu)化，生成optimizedLogicalPlan；4、Planner:將LogicalPlan轉(zhuǎn)換成PhysicalPlan；5、CostModel:主要根據(jù)過去的性能統(tǒng)計數(shù)據(jù)，選擇最佳的物理執(zhí)行計劃Spark作為開源項目，外部開發(fā)人員可以針對項目需求自行擴展Catalyst優(yōu)化器的功能。如圖7-2所示為SparkSQL的運行架構(gòu)。SparkSQL架構(gòu)如上圖所示，SparkSQL的工作流程可以分為如下幾步：(1)使用SessionCatalog保存元數(shù)據(jù)在解析SQL語句之前，會創(chuàng)建SparkSession，或者如果是2.0之前的版本初始化SQLContext，SparkSession只是封裝了SparkContext和SQLContext的創(chuàng)建而已。會把元數(shù)據(jù)保存在SessionCatalog中，涉及到表名，字段名稱和字段類型。創(chuàng)建臨時表或者視圖，其實就會往SessionCatalog注冊。(2)解析SQL使用ANTLR生成未綁定的邏輯計劃當(dāng)調(diào)用SparkSession的SQL或者SQLContext的SQL方法，我們以2.0為準(zhǔn)，就會使用SparkSqlParser進(jìn)行解析SQL。使用的ANTLR進(jìn)行詞法解析和語法解析。它分為2個步驟來生成UnresolvedLogicalPlan:詞法分析：LexicalAnalysis,負(fù)責(zé)將token分組成符號類。構(gòu)建一個分析樹或者語法樹AST。(3)使用分析器Analyzer綁定邏輯計劃在該階段，Analyzer會使用AnalyzerRules，并結(jié)合SessionCatalog，對未綁定的邏輯計劃進(jìn)行解析，生成已綁定的邏輯計劃。SparkSQL架構(gòu)(4)使用優(yōu)化器Optimizer優(yōu)化邏輯計劃優(yōu)化器也是會定義一套Rules，利用這些Rule對邏輯計劃和Exepression進(jìn)行迭代處理，從而使得樹的節(jié)點進(jìn)行合并和優(yōu)化。(5)使用SparkPlanner生成物理計劃SparkSpanner使用Plannin