完全分布模式Hadoop集群安裝配置

1、HBase入門筆記（三）- 完全分布模式Hadoop集群安裝配置            本來這篇文章該在去年11月底寫出來的，被各種繁雜的事情所煩擾，再者網(wǎng)絡(luò)上也有非常多比較完善的配置的文章，但是依舊是表述不太清晰。依舊寫個Step By Step的教程，留待己用。           主機名及其IP地址對應(yīng)如下：        Master是Hadoop集群的管理節(jié)點，重要的配置工作都在它上面，至于它的功能和作用請參考Had

2、oopAPI。    具體配置步驟如下：   一.修改各個節(jié)點（dm1-dm4）的HostName，命令如下：?1Vi /etc/hostname 如下圖所示例：   二.在host中添加機器的hostname和IP，用以通訊。Master需要知道所有的slave的信息。對應(yīng)的slave只需要知道Master和自身的信息即可。  命令如下：?1vi /etc/hostsMaster(dm4)的hosts配置應(yīng)該如下圖所示： 其它的slave(dm3）的hosts配置應(yīng)該如下圖所示：&#

3、160;   三.Hadoop核心代碼需要配置conf文件夾里面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml，hadoop-env.sh這幾個文件。具體各個配置的含義請參考Hadoop幫助文檔。    1.首先編輯各個機器節(jié)點（包括master和slave）的core-site.xml文件，命令如下：（Hadoop 文件夾放在home下）?1vi /home/hadoop/conf/core-site.xmlcore-site.xml文件配置，應(yīng)如下面代碼所示：?12

4、34567891011<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <!- Put site-specific property overrides in this file. ->   <configuration> <property>     <name>fs

5、.</name>     <value>hdfs:/dm4:9000</value>  </property> </configuration>    2.其次編輯各個機器節(jié)點（包括master和slave）的hdfs-site.xml，命令如下：?1vi /home/hadoop/conf/hdfs-site.xml     hdfs-site.xml文件配置，應(yīng)如下面代碼所示：?12345

6、678910<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <!- Put site-specific property overrides in this file. ->   <configuration>  <property>  <name>.dir</na

7、me>  <value>/home/hadoop/NameData</value>  </property>?12345678910<property>  <name>dfs.permissions</name>  <value>false</value>  </property>    <property>  <name>dfs.replication</nam

8、e>  <value>1</value>  </property> </configuration>   3.再次，編輯各個機器節(jié)點（包括master和slave）mapred-site.xml文件，命令如下：?1vi /home/hadoop/conf/mapred-site.xml  mapred-site.xml文件配置，應(yīng)如下面代碼所示：?1234567891011<?xml version="1.0"?> <?xml-styleshe

9、et type="text/xsl" href="configuration.xsl"?>   <!- Put site-specific property overrides in this file. ->   <configuration> <property> <name>mapred.job.tracker</name> <value>0:9001</value> </property&g

10、t; </configuration>      4.最后，編輯各個機器節(jié)點（包括master和slave） hadoop-env.sh文件，命令如下：?1vi  /home/hadoop/conf/hadoop-env.sh   向該文件加入幾行代碼，如下所示： ?123export HADOOP_HOME=/home/hadoop export   HADOOP_CONF_DIR=$HADOOP_HOME/conf  export PATH=$PATH:$HA

11、DOOP_HOME/bin   四.配置集群的主從關(guān)系。在所有機器節(jié)點上，Hadoop的conf文件夾中，都有slaves和masters兩個文件。往masters中添加Master（dm4）的IP地址或者h(yuǎn)ostname。往slaves文件中添加Slave（dm1-dm3）的IP或hostname。所有節(jié)點都需要修改。    Masters如下圖所示：    slaves如下圖所示：  行文至此，Hadoop的整體安裝和配置已經(jīng)完成。Hadoop集群的啟動從Master（Namenode）機器

12、開始，它和slave（DataNode）之間通訊使用ssh，我們接下來需要設(shè)置ssh無密碼公鑰認(rèn)證登入。    五.SSH非對稱密鑰的原理請參見此文和彼文。首先要在所有節(jié)點生成密鑰對，具體實現(xiàn)步驟如下：    1.所有節(jié)點生成RSA密鑰對，命令如下：?1ssh-keygen -t rsa   出現(xiàn)如下圖所示：直接回車，密鑰對存放為/root/.ssh/id_rsa。在該文的演示中生成/root/viki.pub然后會要求你輸入密碼，選擇空最后生成如下圖：       2.將M

13、aster（Namenode）生成的公鑰viki.pub的內(nèi)容復(fù)制到本機的 /root/.ssh/ 的authorized_keys 文件 里。命令如下：?1cp viki.pub authorized_keys     然后，將authorized_keys 文件復(fù)制到各個slave（DataNode）機器的 /root/.ssh/ 文件夾，命令如下：?1scp  /root/.ssh/authorized_keys dm3:/root/.ssh/     最后，在所有機器執(zhí)行用戶權(quán)限命令chmod，命令如下： ?1chmod 644 authorized_keys    經(jīng)過以上步驟，ssh配置也已完成。通過以下命令驗證： ?123456ssh dm3 exit ssh dm2 exit ssh dm1 exit