建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop完全分布模式安裝方法，你可以和之前介紹的兩種模式做一下對比，看看那種模式更適合你，歡迎大家一起來學(xué)習(xí)Hadoop完全分布模式安裝。
創(chuàng)新互聯(lián)主營洛南網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,手機(jī)APP定制開發(fā),洛南h5小程序開發(fā)搭建,洛南網(wǎng)站營銷推廣歡迎洛南等地區(qū)企業(yè)咨詢
Hadoop完全分布模式安裝
Hadoop概念
Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
簡單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。當(dāng)前最新版本是hadoop0.20.1。下面就hadoop0.20.1為藍(lán)本，介紹在UbuntuLinux9.10下hadoop完全分布模式安裝的方法。
支持的平臺(tái)：
Linux，可作為開發(fā)和產(chǎn)品部署的平臺(tái)；
Windows，可作為開發(fā)平臺(tái)。
事先需要的軟件：
1.JavaTM1.6.x，必須安裝，建議選擇Sun公司發(fā)行的Java版本；
2.ssh必須安裝，并保證sshd運(yùn)行，hadoop將以ssh進(jìn)行通訊；
3.如果是windows，則需要裝Cygwin，用以支持shell命令。
安裝可用的模式：
1.本地模式；
2.偽分布模式；
3.完全分布模式。
Hadoop完全分布模式安裝步驟（這里的步驟只讓hadoop能跑，不帶任何調(diào)優(yōu)步驟）：
1.下載并解壓hadoop到集群中某臺(tái)服務(wù)器目標(biāo)目錄。
2.配置/etc/hosts文件
2.1確認(rèn)集群中所有服務(wù)器均有hostname，并記錄IP
2.2每一臺(tái)服務(wù)器的/etc/hosts文件里配置hostname和IP對應(yīng)關(guān)系，加快解析速度。
3.配置SSH免密碼登陸
3.1每臺(tái)服務(wù)器上運(yùn)行：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
3.2把各臺(tái)服務(wù)器的~/.ssh/authorized_keys文件內(nèi)容合并到一個(gè)總的authorized_keys文件；
3.3把那個(gè)總的authorized_keys文件scp到每臺(tái)服務(wù)器，替換原有的authorized_keys文件；
3.4互相SSH對方機(jī)器，確認(rèn)SSH登陸不需要密碼
4.配置各臺(tái)服務(wù)器時(shí)間，確保每臺(tái)服務(wù)器時(shí)間相同；Hadoop完全分布模式安裝過程中還要配置Hadoop。
5.配置hadoop
5.1配置conf/hadoop-env.sh文件
配置JAVA_HOME一行，配置正確的路徑。
5.2配置conf/core-site.xml文件
- viewplaincopytoclipboardprint?
fs.default.name hdfs://host:9000 fs.default.name hdfs://host:9000
注：這里的host必須改為對應(yīng)的namenode的hostname
5.3配置conf/hdfs-site.xml文件
如果不修改使用默認(rèn)設(shè)置也可以。
5.4配置conf/mapred-site.xml文件
- viewplaincopytoclipboardprint?
mapred.job.tracker localhost:9001 mapred.job.tracker localhost:9001
注：這里的host必須改為對應(yīng)的namenode的hostname
6.配置conf/slaves和conf/master文件
slaves文件里寫datanode的hostname或IP，master里寫namenode、secondarynamenode的hostname或IP，每行寫一個(gè)服務(wù)器，以#開頭的行視為注釋。
7.分發(fā)hadoop
直接通過scp，把hadoop整個(gè)目錄復(fù)制到各臺(tái)服務(wù)器的相同目錄即可
8.格式化hadoop的namenode
執(zhí)行命令：$bin/hadoopnamenode-format
9.啟動(dòng)hadoop
執(zhí)行命令：$bin/start-all.sh
至此，Hadoop完全分布模式安裝完畢，通常啟動(dòng)到所有服務(wù)器完全識(shí)別出來需要一定的時(shí)間（我這里是5分鐘左右），要耐心等待，在namenode節(jié)點(diǎn)上，打開瀏覽器，輸入http://localhost:50070/即可看到整個(gè)hadoop情況，JobTracker情況可以看每一個(gè)服務(wù)器的http://localhost:50030/。
【編輯推薦】
- Hadoop偽分布模式安裝如何實(shí)現(xiàn)？
- Hadoop本地模式安裝如何實(shí)現(xiàn)？
- 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
- 兩種模式運(yùn)行Hadoop分布式并行程序
- Hadoop應(yīng)用之Hadoop安裝篇
網(wǎng)頁題目：Hadoop完全分布模式安裝實(shí)現(xiàn)詳解
URL鏈接：http://fisionsoft.com.cn/article/djpghoh.html
