建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)繼續(xù)向大家介紹Hadoop集群搭建的步驟，希望通過本節(jié)的介紹你對如何進行Hadoop集群搭建有一定的認識，歡迎大家一起來學習Hadoop集群搭建搭建方面的知識。
從事聯(lián)通服務器托管，服務器租用，云主機，網(wǎng)絡空間，域名申請，CDN，網(wǎng)絡代維等服務。
一、建立Master到每一臺Slave的SSH受信證書
1、偽分布式免密碼ssh設置
?現(xiàn)在確認能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost，執(zhí)行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
?安裝ssh,并生成公鑰和私鑰
?運行ssh-keygen-trsa，根據(jù)屏幕提示直接選擇“回車”
?會在用戶目錄~/.ssh/產生兩個文件，id_rsa，id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
2、Hadoop集群搭建的SSH設置
master：
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重復)
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重復)
[fan@fan001~]$cd.ssh
[[email protected]]$cpid_rsa.pubauthorized_keys
[[email protected]]$chmod600authorized_keys
slave：
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[[email protected]]$catid_rsa.pub>>authorized_keys
[[email protected]]$chmod600authorized_keys
OK,完成免密碼ssh設置
二、啟動Hadoop
1、偽分布式的啟動：
格式化一個新的分布式文件系統(tǒng)：$bin/hadoopnamenode-format
啟動Hadoop守護進程：$bin/start-all.sh
Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).
2、啟動Hadoop
Hadoop集群搭建過程中啟動Hadoop集群需要啟動HDFS集群和Map/Reduce集群。
?格式化一個新的分布式文件系統(tǒng)：$bin/hadoopnamenode-format
?在分配的NameNode上，運行下面的命令啟動HDFS：$bin/start-dfs.sh
bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動DataNode守護進程。
?在分配的JobTracker上，運行下面的命令啟動Map/Reduce：$bin/start-mapred.sh
bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動TaskTracker守護進程。
3.停止Hadoop
?在分配的NameNode上，執(zhí)行下面的命令停止HDFS：$bin/stop-dfs.sh
bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止DataNode守護進程。
?在分配的JobTracker上，運行下面的命令停止Map/Reduce：$bin/stop-mapred.sh
bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止TaskTracker守護進程。本節(jié)關于Hadoop集群搭建的相關內容介紹完畢。
【編輯推薦】
- Hadoop集群搭建過程中相關環(huán)境配置詳解
- 技術分享 Hadoop集群搭建方法
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設計
- 兩種模式運行Hadoop分布式并行程序
- 專家提醒 部署Hadoop時應該注意具體事項
文章名稱：專家指導如何實現(xiàn)Hadoop集群搭建
網(wǎng)站鏈接：http://fisionsoft.com.cn/article/cdhojhp.html
