組件配置總覽

組件配置總覽Hadoop生態(tài)圈各常用組件介紹0102MapReduceContent目錄301

Hadoop生態(tài)圈各常用組件介紹Hadoop生態(tài)圈各常用組件介紹Hadoop一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。特點(diǎn)具有可靠、高效、可伸縮的特點(diǎn)。具有成熟的生態(tài)系統(tǒng)，包括眾多的開(kāi)源工具，從下圖可以大致看出Hadoop生態(tài)圈的龐大。YARN,HDFS和MapReduce，Hdfs是分布式文件存儲(chǔ)系統(tǒng)，用于存儲(chǔ)海量數(shù)據(jù)；MapReduce是并行處理框架，實(shí)現(xiàn)任務(wù)分解和調(diào)度。Hadoop可以用來(lái)搭建大型數(shù)據(jù)倉(cāng)庫(kù)，對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、分析、處理和統(tǒng)計(jì)等業(yè)務(wù)，功能十分強(qiáng)大。核心Hadoop生態(tài)圈各常用組件介紹02

MapReduce

MapReduceMapReduce整個(gè)MapReduce的過(guò)程大致分為MapShuffle（排序）Combine（組合）Reduce用一句話概括就是，分而治之，然后歸約，即將一個(gè)大任務(wù)分解為多個(gè)小任務(wù)（map），并行執(zhí)行后，合并結(jié)果（reduce）。MapReduce的工作原理MapReduce1.將文件拆分成splits(片)，并將每個(gè)split按行分割形成<key,value>對(duì)。這一步由MapReduce框架自動(dòng)完成，其中偏移量即key值。2.將分割好的<key,value>對(duì)交給用戶定義的map方法進(jìn)行處理，生成新的<key,value>對(duì)。3.得到map方法輸出的<key,value>對(duì)后，Mapper會(huì)將它們按照key值進(jìn)行Shuffle（排序），并執(zhí)行Combine過(guò)程，將key值相同得value值累加，得到Mapper的最終輸出結(jié)果。4.Reducer先對(duì)從Mapper接收的數(shù)據(jù)進(jìn)行排序，再交由用戶自定義的reduce方法進(jìn)行處理，得到新的<key,value>對(duì)。1、介紹