建站
咨詢
售后
建站咨詢
新聞中心
專家指導(dǎo) 如何進(jìn)行Hadoop分布式集群配置
作者：admin 2010-06-03 14:42:47
開發(fā)
架構(gòu)
分布式
Hadoop Hadoop相信大家應(yīng)該有所了解，那么什么是Hadoop分布式集群呢，這里向大家介紹一下Hadoop分布式集群配置方法，歡迎大家一起來學(xué)習(xí)。
創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括華池網(wǎng)站建設(shè)、華池網(wǎng)站制作、華池網(wǎng)頁制作以及華池網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，華池網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到華池省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
在學(xué)習(xí)Hadoop的過程中，你可能會(huì)遇到Hadoop分布式集群配置問題，本節(jié)和大家一起學(xué)習(xí)一下Hadoop分布式集群配置方法，希望通過本節(jié)的介紹大家能夠掌握其方法。
Hadoop分布式集群配置總結(jié)
假設(shè)用2臺(tái)機(jī)器配置hadoop分布式集群，192.168.11.13為主服務(wù)器namenode，192.168.11.17為數(shù)據(jù)節(jié)點(diǎn)datanode
1.配置SSH的無密碼公鑰
192.168.11.13
用root登錄
創(chuàng)建用戶linleran：adduserlinleran
設(shè)置密碼：passwdlinleran
切換用戶：sulinleran
到用戶linleran的目錄（/home/linleran）新建文件件.ssh：mkdir.ssh
修改目錄.ssh權(quán)限為：[linleran@centos~]$chmod755.ssh
配置SSH的無密碼公鑰，一路回車。
[linleran@centos~]$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/linleran/.ssh/id_rsa):
Enterpassphrase(emptyfornopassphrase):
Entersamepassphraseagain:
Youridentificationhasbeensavedin/home/linleran/.ssh/id_rsa.
Yourpublickeyhasbeensavedin/home/linleran/.ssh/id_rsa.pub.
Thekeyfingerprintis:
df:99:37:84:a1:04:34:06:60:45:b9:ce:43:af:54:[email protected]
進(jìn)入.ssh目錄，將id_rsa.pub的內(nèi)容復(fù)制到authorized_keys后面。
修改authorized_keys的權(quán)限為[[email protected]]$chmod644authorized_keys。
192.168.11.17同樣執(zhí)行以內(nèi)容，且將id_rsa.pub內(nèi)容添加到192.168.11.13的authorized_keys后面，同時(shí)將192.168.11.13的id_rsa.pub內(nèi)容添加過來，以確保2臺(tái)機(jī)器相互可以ssh連接。Hadoop分布式集群配置時(shí)還要在主服務(wù)器安裝hadoop。
2.在主服務(wù)器安裝hadoop
解壓tarzxvfhadoop-0.18.2.tar.gz
創(chuàng)建目錄
/home/linleran/hadoop-0.18.2/hadoopfs/name
/home/linleran/hadoop-0.18.2/hadoopfs/data
/home/linleran/hadoop-0.18.2/tmp/
配置hadoop-env.sh設(shè)置jdk路徑exportJAVA_HOME=/home/linleran/jdk1.5.0_15
配置conf/hadoop-site.xml
fs.default.name hdfs://192.168.11.13:9000/ mapred.job.tracker 192.168.11.13:9001 dfs.name.dir /home/linleran/hadoop-0.18.2/hadoopfs/name dfs.data.dir /home/linleran/hadoop-0.18.2/hadoopfs/data dfs.replication 1 hadoop.tmp.dir /home/linleran/hadoop-0.18.2/tmp/
配置conf/masters
將主機(jī)ip添加192.168.11.13
配置conf/slaves
將datanodeIP添加192.168.11.17
將配置好的hadoop通過scp部署到節(jié)點(diǎn)。scp–r/home/linleran/hadoop-0.18.2192.168.11.17:/home/linleran/hadoop-0.18.2
3.Hadoop分布式集群配置時(shí)在主服務(wù)器啟動(dòng)
格式化一個(gè)新的分布式文件系統(tǒng)
bin/hadoopnamenode–format
啟動(dòng)服務(wù)
bin/start-all.sh
4.測(cè)試
測(cè)試分布式文件系統(tǒng)
mkdirtest-in
echo“helloword”>file1.txt
echo“hellohadoop”>file2.txt
bin/hadoopdfs–puttest-ininput
bin/hadoopjarhadoop-0.18.2-examples.jarwordcountinputoutput
bin/hadoopdfs–getoutputresult
catresult/*
5.Hadoop分布式集群配置過程中遇到的問題
SSH無密碼訪問不成功。.ssh目錄需要755權(quán)限，authorized_keys需要644權(quán)限，否則一直提示輸入密碼。
linux防火墻開著，hadoop需要開的端口需要添加，或者關(guān)掉防火墻。否則會(huì)出現(xiàn)節(jié)點(diǎn)服務(wù)器一直無法連上主服務(wù)器。節(jié)點(diǎn)服務(wù)器的日志不斷的retry：
INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver…
數(shù)據(jù)節(jié)點(diǎn)連不上主服務(wù)器還有可能是使用了機(jī)器名的緣故，還是使用IP地址比較穩(wěn)妥。
分布式文件系統(tǒng)報(bào)錯(cuò)，java.lang.IllegalArgumentException:WrongFS:，hadoop-site.xml要配置正確，fs.default.name的value是hdfs://IP:端口/，mapred.job.tracker的value是IP:端口
本文題目：專家指導(dǎo)如何進(jìn)行Hadoop分布式集群配置
分享路徑：http://fisionsoft.com.cn/article/dpcjdpc.html
