建站
咨詢
售后
建站咨詢
新聞中心
配置hadoop之前做好準(zhǔn)備工作
1.修改主機名稱，我這里創(chuàng)建了三個虛擬主機，分別命名node-1，node-2，node-3，進入 network 文件刪掉里面的內(nèi)容直接寫上主機名就可以了
成都創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都做網(wǎng)站、網(wǎng)站設(shè)計、外貿(mào)營銷網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元商州做網(wǎng)站,已為上家服務(wù),為商州各地企業(yè)和個人服務(wù),聯(lián)系電話:028-86922220
vi /etc/sysconfig/network2.映射 IP 和主機名，之后 reboot 重啟主機
[root@node-1 redis-cluster]# vim /etc/hosts
192.168.0.1 node-1
192.168.0.2 node-2
192.168.0.3 node-33.檢測防火墻（要關(guān)閉防火墻），不同系統(tǒng)的防火墻關(guān)閉方式不一樣，以下做個參考即可
1.service iptables stop 關(guān)閉
2.chkconfig iptables off 強制關(guān)閉 除非手動開啟不然不會自動開啟
3.chkconfig iptanles 查看
4.service iptables status 查看防火墻狀態(tài)4.ssh 免密碼登錄
輸入命令：ssh-keygen -t rsa 然后點擊四個回車鍵，如下圖所示：
然后通過 ssh-copy-id 對應(yīng)主機 IP，之后通過“ssh 主機名/IP” 便可以不輸入密碼即可登錄相應(yīng)的主機系統(tǒng)
開始配置 Hadoop 相關(guān)文件
上傳 hadoop 安裝包解壓后進入 hadoop-2.7.6/etc/hadoop 目錄下
以下所有的
第一個 hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171 #JAVA_HOME寫上自己jdk 的安裝路徑第二個 ：core-site.xml
vi core-site.xml
fs.defaultFS
hdfs://node-1:9000
hadoop.tmp.dir
/export/data/hddata
第三個： hdfs-site.xml
vi hdfs-site.xml
dfs.replication
2
dfs.namenode.secondary.http-address
node-2:50090
第四個： mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
mapreduce.framework.name
yarn
第五個：yarn-site.xml
vi yarn-site.xml
yarn.resourcemanager.hostname
node-1
yarn.nodemanager.aux-services
mapreduce_shuffle
第六個：slaves 文件，里面寫上從節(jié)點所在的主機名字
vi slaves
node-1
node-2
node-3第七個：將 Hadoop 添加到環(huán)境變量
vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH然后將 hadoop 安裝包遠(yuǎn)程發(fā)送給各個副計算機
scp -r /export/server/hadoop-2.7.6/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.6/ root@node-3:/export/server/把配置好的環(huán)境變量也要遠(yuǎn)程發(fā)送給各個副計算機
scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/然后試所有的計算機環(huán)境變量生效
source /etc/profile關(guān)于 hadoop的 配置說明
在 hadoop 官網(wǎng)，左下角點擊 Documentation 點擊相應(yīng)的版本進去，拉到最左下角有 ***-default.xml
***-default.xml 是默認(rèn)的配置，如果用戶沒有修改這些選項將會生效
***-site.xml 是用戶自定義的配置
site的配置選項優(yōu)先級大于 default 的，如果 site 里面有就會覆蓋 default 里面的
分享標(biāo)題：創(chuàng)新互聯(lián)Hadoop教程：Hadoop配置
地址分享：http://fisionsoft.com.cn/article/cosiioo.html
