建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要為大家展示了“Hadoop框架中如何配置HDFS高可用環(huán)境”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop框架中如何配置HDFS高可用環(huán)境”這篇文章吧。
公司主營業(yè)務(wù)：成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出羅城免費(fèi)做網(wǎng)站回饋大家。
一、HDFS高可用
1、基礎(chǔ)描述
在單點(diǎn)或者少數(shù)節(jié)點(diǎn)故障的情況下，集群還可以正常的提供服務(wù)，HDFS高可用機(jī)制可以通過配置Active/Standby兩個(gè)NameNodes節(jié)點(diǎn)實(shí)現(xiàn)在集群中對NameNode的熱備來消除單節(jié)點(diǎn)故障問題，如果單個(gè)節(jié)點(diǎn)出現(xiàn)故障，可通過該方式將NameNode快速切換到另外一個(gè)節(jié)點(diǎn)上。
2、機(jī)制詳解
基于兩個(gè)NameNode做高可用，依賴共享Edits文件和Zookeeper集群；
每個(gè)NameNode節(jié)點(diǎn)配置一個(gè)ZKfailover進(jìn)程，負(fù)責(zé)監(jiān)控所在NameNode節(jié)點(diǎn)狀態(tài)；
NameNode與ZooKeeper集群維護(hù)一個(gè)持久會(huì)話；
如果Active節(jié)點(diǎn)故障停機(jī)，ZooKeeper通知Standby狀態(tài)的NameNode節(jié)點(diǎn)；
在ZKfailover進(jìn)程檢測并確認(rèn)故障節(jié)點(diǎn)無法工作后；
ZKfailover通知Standby狀態(tài)的NameNode節(jié)點(diǎn)切換為Active狀態(tài)繼續(xù)服務(wù)；
ZooKeeper在大數(shù)據(jù)體系中非常重要，協(xié)調(diào)不同組件的工作，維護(hù)并傳遞數(shù)據(jù)，例如上述高可用下自動(dòng)故障轉(zhuǎn)移就依賴于ZooKeeper組件。
二、HDFS高可用
1、整體配置
| 服務(wù)列表 | HDFS文件 | YARN調(diào)度 | 單服務(wù) | 共享文件 | Zk集群 |
|---|---|---|---|---|---|
| hop01 | DataNode | NodeManager | NameNode | JournalNode | ZK-hop01 |
| hop02 | DataNode | NodeManager | ResourceManager | JournalNode | ZK-hop02 |
| hop03 | DataNode | NodeManager | SecondaryNameNode | JournalNode | ZK-hop03 |
2、配置JournalNode
創(chuàng)建目錄
[root@hop01 opt]# mkdir hopHA
拷貝Hadoop目錄
cp -r /opt/hadoop2.7/ /opt/hopHA/
配置core-site.xml
fs.defaultFS hdfs://mycluster hadoop.tmp.dir /opt/hopHA/hadoop2.7/data/tmp
配置hdfs-site.xml，添加內(nèi)容如下
dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 hop01:9000 dfs.namenode.rpc-address.mycluster.nn2 hop02:9000 dfs.namenode.http-address.mycluster.nn1 hop01:50070 dfs.namenode.http-address.mycluster.nn2 hop02:50070 dfs.namenode.shared.edits.dir qjournal://hop01:8485;hop02:8485;hop03:8485/mycluster dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.journalnode.edits.dir /opt/hopHA/hadoop2.7/data/jn dfs.permissions.enable false dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
依次啟動(dòng)journalnode服務(wù)
[root@hop01 hadoop2.7]# pwd /opt/hopHA/hadoop2.7 [root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start journalnode
刪除hopHA下數(shù)據(jù)
[root@hop01 hadoop2.7]# rm -rf data/ logs/
NN1格式化并啟動(dòng)NameNode
[root@hop01 hadoop2.7]# pwd /opt/hopHA/hadoop2.7 bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode
NN2同步NN1數(shù)據(jù)
[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby
NN2啟動(dòng)NameNode
[root@hop02 hadoop2.7]# sbin/hadoop-daemon.sh start namenode
查看當(dāng)前狀態(tài)
在NN1上啟動(dòng)全部DataNode
[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode
NN1切換為Active狀態(tài)
[root@hop01 hadoop2.7]# bin/hdfs haadmin -transitionToActive nn1 [root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1 active
3、故障轉(zhuǎn)移配置
配置hdfs-site.xml，新增內(nèi)容如下，同步集群
dfs.ha.automatic-failover.enabled true
配置core-site.xml，新增內(nèi)容如下，同步集群
ha.zookeeper.quorum hop01:2181,hop02:2181,hop03:2181
關(guān)閉全部HDFS服務(wù)
[root@hop01 hadoop2.7]# sbin/stop-dfs.sh
啟動(dòng)Zookeeper集群
/opt/zookeeper3.4/bin/zkServer.sh start
hop01初始化HA在Zookeeper中狀態(tài)
[root@hop01 hadoop2.7]# bin/hdfs zkfc -formatZK
hop01啟動(dòng)HDFS服務(wù)
[root@hop01 hadoop2.7]# sbin/start-dfs.sh
NameNode節(jié)點(diǎn)啟動(dòng)ZKFailover
這里hop01和hop02先啟動(dòng)的服務(wù)狀態(tài)就是Active，這里先啟動(dòng)hop02。
[hadoop2.7]# sbin/hadoop-daemon.sh start zkfc
結(jié)束hop02的NameNode進(jìn)程
kill -9 14422
等待一下查看hop01狀態(tài)
[root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1 active
三、YARN高可用
1、基礎(chǔ)描述
基本流程和思路與HDFS機(jī)制類似，依賴Zookeeper集群，當(dāng)Active節(jié)點(diǎn)故障時(shí)，Standby節(jié)點(diǎn)會(huì)切換為Active狀態(tài)持續(xù)服務(wù)。
2、配置詳解
環(huán)境同樣基于hop01和hop02來演示。
配置yarn-site.xml，同步集群下服務(wù)
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster-yarn01 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 hop01 yarn.resourcemanager.hostname.rm2 hop02 yarn.resourcemanager.zk-address hop01:2181,hop02:2181,hop03:2181 yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
重啟journalnode節(jié)點(diǎn)
sbin/hadoop-daemon.sh start journalnode
在NN1服務(wù)格式化并啟動(dòng)
[root@hop01 hadoop2.7]# bin/hdfs namenode -format [root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start namenode
NN2上同步NN1元數(shù)據(jù)
[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby
啟動(dòng)集群下DataNode
[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode
NN1設(shè)置為Active狀態(tài)
先啟動(dòng)hop01即可，然后啟動(dòng)hop02。
[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start zkfc
hop01啟動(dòng)yarn
[root@hop01 hadoop2.7]# sbin/start-yarn.sh
hop02啟動(dòng)ResourceManager
[root@hop02 hadoop2.7]# sbin/yarn-daemon.sh start resourcemanager
查看狀態(tài)
[root@hop01 hadoop2.7]# bin/yarn rmadmin -getServiceState rm1
以上是“Hadoop框架中如何配置HDFS高可用環(huán)境”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
文章名稱：Hadoop框架中如何配置HDFS高可用環(huán)境
當(dāng)前鏈接：http://fisionsoft.com.cn/article/jsgeis.html
