Google云計(jì)算核心技術(shù)及應(yīng)用場景分析.

1、201工年4月28RGoogle云計(jì)算核心技術(shù)介紹及應(yīng)用場景分析hltp:hi.baidiJ com/dr1ceSnzhang小組成員王仕軍PPT制作報(bào)吿人-王長凱論文捜集，論文翻譯圖片和視頻捜集莢術(shù)指導(dǎo)201年4月日內(nèi)容目錄云計(jì)算的概念云計(jì)算的概念云計(jì)算的服務(wù)形式云計(jì)算的發(fā)展現(xiàn)狀Google 云計(jì)算 核心技術(shù)介紹Ad|分布式文件系統(tǒng)GFS分布式數(shù)據(jù)庫BigTable并行計(jì)算模型MapReduceGoogle 云計(jì)算 應(yīng)用場景分析 Google Scholar Google Analytics Google AppEnginc云計(jì)算的基本概念云計(jì)算的概念云計(jì)算的服務(wù)形式云計(jì)算的發(fā)展現(xiàn)狀201年

2、4月日201年4月28R云計(jì)算的概念是由分布式計(jì)算算模型.“將計(jì)算任務(wù)分衣用系統(tǒng)能夠根拒務(wù)DIOL G 8 *夬川八，金業(yè)/敷將/7木忸梅/個(gè)人爭IMLI云計(jì)算的發(fā)展現(xiàn)狀JHIOIamazonweb servicesG8teMicr3阿里Soo ARP/ 百客檢RUf費(fèi)的住業(yè)檜/云計(jì)算的服務(wù)形式 laaS (Infrastructure as a service)Amazon Web服務(wù)(AWS)IBM的Blue Cloud等 PaaS (Platform as a service)Google的AppEngineSalesforce的開放平臺 八百客的800APP SaaS (Softwar

3、e as a service)Google 云計(jì)算核心技術(shù)并行計(jì)算模型MapReduce分布式文件系統(tǒng)GFS分布式數(shù)據(jù)庫BigTable?0l年4月日Google DocsGoogle Mail201年4月”曰201M 年4月28R10為什么需要MapReduce? Google擁有海量數(shù)據(jù)，并且需要快速處理MapReduce的概念處理和生成海量數(shù)據(jù)的并行編程模型；用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運(yùn)算； MapReduce的核心是Map和Reduce兩個(gè)函數(shù)Map,映射，對列表中的所有元素進(jìn)行指定的操作，返回基于 這個(gè)處理的中間結(jié)果集；Reduce,化簡，對中間結(jié)果集進(jìn)行分類和歸納得到

4、最終的計(jì) 算結(jié)果；兩個(gè)函數(shù)可能會并行運(yùn)行普通的PC機(jī)集群上：201年4月28R12MapReduce執(zhí)行流程MapReduce架構(gòu)的思考 Worker故障Master周期性的ping每個(gè)worker,檢查狀態(tài) 雷摯蛙珞芒M a p任務(wù)MapReduce計(jì)算架構(gòu)有什么問題？ 定期寫入檢查點(diǎn)數(shù)據(jù)備恢復(fù)之用Master的數(shù)據(jù)多重備份機(jī)制 重新發(fā)起MapReduce計(jì)算請求MapReduce的優(yōu)化卜任務(wù)分割的粒度:時(shí)間復(fù)雜度任務(wù)備份本地文跳過異13Map201年4月16MapReduce的應(yīng)用場合網(wǎng)站訪問量統(tǒng)計(jì)Map:Rcducc:反向連接分析Map:target, sourcoReduce:倒排索引

5、Map:Reduce:MapReduce示仮ij:單詞計(jì)數(shù)案例:單詞記數(shù)問題(Word Count)給定巨大的文本文件(大于1TB),如何計(jì)算文件中所有單詞 出現(xiàn)的數(shù)目？Hello: 3IIcllo World Bye WcrldNWorld 2Hello lladoop Bye I(udoopMapReduce :Bye Hadcx) )p Hello Itadaop1/n)C. JHadoop 4201年4月MRIS201年4月16輸入數(shù)據(jù):輸出數(shù)據(jù)：甲詞所山現(xiàn)的頻率201工年4月28R18MapReduce示仮ij:單詞計(jì)數(shù)卜使用MapReduce求解該問題定義Map和Reduce函數(shù)(

6、Pseudo Code)Map(K,V)(For each word w in V Collect(w .1);Reduce(K,V int count = 0;For each v in vcount + v; Collect(K /count);MapReduce示仮ij:單詞計(jì)數(shù)卜使用MapReduce求解該問題Step 1:自動對文本進(jìn)行分割201工年4月28R18201M 年4月28R20Worl.lvByc 1-eWorldteWorld . 1AWorld .1 a- Hndocp lHvc 1FlodByc Ay-Hadoop l* Bye. I、. I JS-I、I N丿 H

7、iKkwip . 1 MapReduce示仮ij:單詞計(jì)數(shù)卜使用MapReduce求解該問題Step 2:在分割之后的每一對vkey, value進(jìn)行用戶定義 的Map進(jìn)行處理，生成新的vkey, value對MapReduce示例:單詞計(jì)數(shù)卜使用MapReduce求解該問題Step 3:對Map返回的中間結(jié)果集歸攏排序19201M 年4月28RMnp rail old愉山MapReduce示例:單詞計(jì)數(shù)卜使用MapReduce求解該問題Google 云計(jì)算核心技術(shù)Fold 倫出Step 4:將分組過的中間結(jié)果集傳給Reduce操作通過計(jì) 數(shù)生成最后結(jié)果?01燉4月曰、分布式文件系統(tǒng)GFS20

8、1年4月”曰22分布式文件系統(tǒng)GFS產(chǎn)生的背景數(shù)據(jù)存儲在多個(gè)可能出故障的普通PC機(jī)集群上 和傳統(tǒng)文件系統(tǒng)相比文件很大（GB級別） 多數(shù)文件在寫操作時(shí)為追加內(nèi)容而不是重寫 主要負(fù)擔(dān)為文件持續(xù)或隨機(jī)讀取,同步寫，連續(xù)寫等功能特性可擴(kuò)展的分布式文件系統(tǒng)用于訪問大量數(shù)據(jù)的大型應(yīng)用高效運(yùn)行在廉價(jià)硬件的集群上容錯(cuò)：集群中的機(jī)器可熱拔插分布式文件系統(tǒng)GFS GFS文件系統(tǒng)架構(gòu)Application(ctwmk byte nrnEMaster 的必要性?I chunk handle,chunk location*)(file QilNT . huaik jn3v I一I me ziR、Conrmlmessag

9、es塊大小為 64 MB?chunk dalMGoogle 云計(jì)算核心技術(shù)分布式數(shù)據(jù)庫BigTable分布式數(shù)據(jù)庫BigTableBigTable的概念大型的分布式數(shù)據(jù)庫，存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù) 建立在GFS丄ockService和MapReduce之上 把所有數(shù)據(jù)都作為對象來處理BigTable的作用為Google云計(jì)算應(yīng)用提供數(shù)據(jù)結(jié)構(gòu)化存儲功能 為應(yīng)用提供簡單數(shù)據(jù)查詢功能（不支持聯(lián)合查詢） 為M apReduce提供數(shù)據(jù)源或數(shù)據(jù)結(jié)果存儲201年4月日分布式數(shù)據(jù)庫BigTable BigTable的數(shù)據(jù)模型分布式的多維映射，以(row, column, timestamp)索引Colu mns

10、Google 云計(jì)算應(yīng)用場景、學(xué)術(shù)搜索服務(wù)Coogle ScholarEngine1-4 o:1t2: timestampi1_ _ I1111Column FamilyRTableletanchorbold”ch or google-Contents:*201年4月28R學(xué)術(shù)搜索服務(wù)Google ScholarWebWdzs Maa Ms Shftaoig Gmail more vA Yi”cknid smcutinciArr- ar mt A Fax R Gnltth如JOA紳R (ho ACM 20=0 portal aem sgptrsnsfmnia Ur. part cf the 1

11、1 industry makng saRi%ara 6or mors attractnro a sarvico andwy FT ho&剛are & dsined aM purchased氐eiopon Aitbmnvach id3r. Cted av二?貨:m2 AH 89 0287Mfkct-Rntcd cloud computtnoi Vivien, hyp化and rcdlityJor dci/nno 1SQAICCS AScomputinoR 8vyya. CS Yoc. S Verxigopo I -_Pffcfmjrcc ComfMiting . 2C08 - l

12、ee explore teee orgAbstract This keynote paner presert a 21st certury vision o4 computing de-t6es varnuB computing pwadigms pfomiaing to dolrrtheSBIa9 computing uftiliio. deAnoo Cloud compiiling and pro旳deEthe arch4octure for creatirg r-arlceinig wfllMday be the 5th utility (alter力met elecincity ges

13、. and leleohony)7h*s computing utHKv*. I Ke all other . Cad All 25學(xué)術(shù)搜索服務(wù)Google Scholar。數(shù)據(jù)抽取尋找包含學(xué)術(shù)論文信息的網(wǎng)頁數(shù)據(jù).井結(jié)構(gòu)化存儲學(xué)術(shù)論文信息抽取（分析參考文獻(xiàn)摘要等）可能的技術(shù)方案:MapReduce+Bi gTable。數(shù)據(jù)統(tǒng)計(jì)基于抽取的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（如分析被引用次數(shù)等）可能的技術(shù)方案MapReduce+B i gTab IeGoogleschola8e chScholarAncles andT ar./ifne二nckidechai tens 201年4月28R。數(shù)據(jù)存儲行鍵：論文標(biāo)題列鍵

14、:作者主題詞.摘要，參考文獻(xiàn)期刊信息被引次數(shù)等201M 年4月28R學(xué)術(shù)搜索服務(wù)Google ScholarGUMOCUJ匕出、J里九&hx/ut( (wm和“嗆文記食學(xué)術(shù)搜索服務(wù)Google ScholarGoadc Scholar tllB 沃 iWG*it U iftXG P it i：D citVQ.l總衣C” tA 1v 倫文0.1，論文八訃OA.】“rc. 1論S. 1論瓷人“ *HmJv 論MF：$ ZA. 2燉48.論文C.論G .Z 與QIU龍Q論2C侖二列.；TCXM.fifcTD it TH. Kt TAI $ Z診2鼻.QX ZC料料9 Kh1iitSuifeX

15、A尢ZD論丈A. lx論t A. 1X丈入lx走XA. 1 V4 11倫YU. ixtf：?U“】X化t 9. t1應(yīng)用架構(gòu)服務(wù)Coogle AppEngine?01年4月“日38201年4月28日40應(yīng)用架構(gòu)服務(wù):Google AppEngine報(bào)告總結(jié)MH年4月”口M10Google云計(jì)算關(guān)鍵技術(shù)并不僅僅是GFS,BigTable,MapReduce,還依靠其他軟硬件的支持；3項(xiàng)關(guān)鍵技術(shù)都比較成熟，最近幾年也有比較大的更 新和修正,開源社區(qū)也有類似的開源項(xiàng)目可供研究使 用，比如Hbase(BT), Hadoop(GFS4-MapReduce);Google正在研發(fā)新的分布式計(jì)算框架Spanner,希 望能夠在全球范圍內(nèi)配置，調(diào)度計(jì)算資源；由于時(shí)間有限，研究不夠深入,有興趣的同學(xué)可以自 行閱讀相關(guān)論文和書籍.201年4月28日40參考資源相關(guān)書籍：葉偉