云計(jì)算教學(xué)課件

摩爾定律集成電路芯片上所集成的電路的數(shù)目，

每隔18個(gè)月就翻一番，同時(shí)性能也提升

一倍經(jīng)驗(yàn)總結(jié)，12個(gè)月-18個(gè)月-24個(gè)月并行計(jì)算基礎(chǔ)GordonMoore摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加，對(duì)制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問(wèn)題CPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高散熱問(wèn)題（發(fā)熱太大，且難以驅(qū)散）功耗太高并行計(jì)算基礎(chǔ)未來(lái)的發(fā)展：多核在多核時(shí)代生存，必須考慮并發(fā)問(wèn)題不存在解決多核編程問(wèn)題的銀彈，

不存在可以簡(jiǎn)單地將并發(fā)編程問(wèn)題化

解掉的工具，開(kāi)發(fā)高性能的并行程序

必須要求開(kāi)發(fā)者從根本上改變其編程

方法從某種意義上來(lái)說(shuō)，這不僅僅是要改

變50年來(lái)順序程序設(shè)計(jì)的工藝傳統(tǒng)，

而且是要改變數(shù)百萬(wàn)年來(lái)人類(lèi)順序化思考問(wèn)題的習(xí)慣并行計(jì)算基礎(chǔ)Herb

Sutter串行編程早期的計(jì)算里，程序一般是被串行執(zhí)行的程序是指令的序列，在單處理器的機(jī)器里，程序從開(kāi)始到結(jié)束，這些指令一條接一條的執(zhí)行并行編程一道處理可以被劃分為幾部分,然后它們可以并發(fā)地執(zhí)行各部分的指令分別在不同的CPU上同時(shí)運(yùn)行，這些CPU可以存在于單臺(tái)機(jī)器中,也可以存在于多臺(tái)機(jī)器上,它們通過(guò)連接起來(lái)共同運(yùn)作并行計(jì)算基礎(chǔ)什么樣的問(wèn)題適合并行計(jì)算？如果有大量結(jié)構(gòu)一致的數(shù)據(jù)要處理，且數(shù)據(jù)可以分解成相同大小的部分，那我們就可以設(shè)法使這道處理變成并行并行計(jì)算基礎(chǔ)計(jì)算問(wèn)題簡(jiǎn)單，但求解困難待處理數(shù)據(jù)量巨大（PB級(jí)），只有分布在成百上千個(gè)節(jié)點(diǎn)上并行計(jì)算才能在可接受的時(shí)間內(nèi)完成如何進(jìn)行并行分布式計(jì)算？如何分發(fā)待處理數(shù)據(jù)？如何處理分布式計(jì)算中的錯(cuò)誤？為什么需要MapReduce？簡(jiǎn)單的問(wèn)題，計(jì)算并不簡(jiǎn)單！為什么需要MapReduce？GoogleMapReduce架構(gòu)設(shè)計(jì)師JeffreyDeanJefferyDean設(shè)計(jì)一個(gè)新的抽象模型，使我們只要執(zhí)行的簡(jiǎn)單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個(gè)庫(kù)里，使并行編程時(shí)不必關(guān)心它們這就是MapReduce一個(gè)軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運(yùn)算MapReduce實(shí)現(xiàn)了Map和Reduce兩個(gè)功能Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集Reduce對(duì)結(jié)果集進(jìn)行分類(lèi)和歸納Map()和Reduce()兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻MapReduceMapReduce示例：?jiǎn)卧~計(jì)數(shù)案例：?jiǎn)卧~記數(shù)問(wèn)題(WordCount)給定一個(gè)巨大的文本（如1TB），如何計(jì)算單詞出現(xiàn)的數(shù)目？MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題定義Map和Reduce函數(shù)MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step1:自動(dòng)對(duì)文本進(jìn)行分割MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step2:在分割之后的每一對(duì)<key,value>進(jìn)行用戶(hù)定義的Map進(jìn)行處理，再生成新的<key,value>對(duì)MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step3:對(duì)輸出的結(jié)果集歸攏、排序(系統(tǒng)自動(dòng)完成）MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step4:通過(guò)Reduce操作生成最后結(jié)果Worker故障Master周期性的ping每個(gè)worker。如果master在一個(gè)確定的時(shí)間段內(nèi)沒(méi)有收到worker返回的信息，那么它將把這個(gè)worker標(biāo)記成失效重新執(zhí)行該節(jié)點(diǎn)上已經(jīng)執(zhí)行或尚未執(zhí)行的Map任務(wù)重新執(zhí)行該節(jié)點(diǎn)上未完成的Reduce任務(wù)，已完成的不再執(zhí)行Master故障定期寫(xiě)入檢查點(diǎn)數(shù)據(jù)從檢查點(diǎn)恢復(fù)MapReduce的容錯(cuò)WHY？任務(wù)備份機(jī)制慢的workers會(huì)嚴(yán)重地拖延整個(gè)執(zhí)行完成的時(shí)間由于其他的任務(wù)占用了資源磁盤(pán)損壞解決方案:在臨近結(jié)束的時(shí)候，啟動(dòng)多個(gè)進(jìn)程來(lái)執(zhí)行尚未完成的任務(wù)誰(shuí)先完成，就算誰(shuí)可以十分顯著地提高執(zhí)行效率MapReduce的優(yōu)化本地處理Master調(diào)度策略:

向GFS詢(xún)問(wèn)獲得輸入文件blocks副本的位置信息Maptasks的輸入數(shù)據(jù)通常按64MB來(lái)劃分(GFSblock大小)按照blocks所在的機(jī)器或機(jī)器所在機(jī)架的范圍進(jìn)行調(diào)度效果絕大部分機(jī)器從本地讀取文件作為輸入，節(jié)省大量帶寬MapReduce的優(yōu)化跳過(guò)有問(wèn)題的記錄一些特定的輸入數(shù)據(jù)常導(dǎo)致Map/Reduce無(wú)法運(yùn)行最好的解決方法是調(diào)試或者修改不一定可行~可能需要第三方庫(kù)或源碼在每個(gè)worker里運(yùn)行一個(gè)信號(hào)處理程序，捕獲map或red