建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop文件系統(tǒng)的快速安裝與使用，希望通過本節(jié)的介紹大家能夠掌握Hadoop文件系統(tǒng)安裝與使用方法，歡迎大家一起來學(xué)習(xí)。
公司主營業(yè)務(wù)：網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出烏恰免費(fèi)做網(wǎng)站回饋大家。
Hadoop文件系統(tǒng)（HDFS）快速安裝與使用技術(shù)文檔
準(zhǔn)備3臺機(jī)器，一臺作為Namenode，命名為master，兩臺作為dataNode，命名為slave01,slave02
在3臺機(jī)器上都設(shè)置hadoop用戶。
設(shè)置hadoop用戶從master到slavessh不需要密碼，設(shè)置方法參見“設(shè)置SSH服務(wù)器只采用密鑰認(rèn)證”一文。
注意：
（1）authorized_keys文件的訪問權(quán)限應(yīng)該設(shè)置為644，否則可能導(dǎo)致無密碼登錄失敗。
（2）從master到master登錄也需要配置無密碼登錄，否則會導(dǎo)致Namenode啟動失敗
下載并安裝JDK，并在/etc/profile配置相應(yīng)的環(huán)境變量，比如
JAVA_HOME=/usr/java/jdk1.6.0_18
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH
在三臺機(jī)器上創(chuàng)建相同的目錄路徑，為HDFS運(yùn)行準(zhǔn)備環(huán)境，比如在/data目錄下創(chuàng)建hadoop目錄，將其屬主改成hadoop，然后在下面如下創(chuàng)建4個目錄：
install：Hadoop源碼解壓后，放在該目錄下
name：HDFS的名字節(jié)點(diǎn)存放目錄
data01,data02：HDFS的數(shù)據(jù)存放目錄，當(dāng)然也可以是一個。
tmp：臨時空間
注意：name目錄只存放在master上，且權(quán)限為755，否則會導(dǎo)致后面的格式化失敗。
編輯Hadoop文件系統(tǒng)HDFS配置文件，所有節(jié)點(diǎn)都要保持一致，共有四個：
core-site.xml:核心配置
hdfs-site.xml：站點(diǎn)多項(xiàng)參數(shù)配置
masters：主節(jié)點(diǎn)，在HDFS中就是Namenode的名稱
slaves：數(shù)據(jù)節(jié)點(diǎn)（Datanode）名稱
各個配置文件舉例
核心配置：core-site.xml
站點(diǎn)節(jié)點(diǎn)配置：hdfs-site.xml
dfs.replication 2 dfs.name.dir /data/hadoop/name dfs.data.dir /data/hadoop/data01,/data/hadoop/data02 dfs.tmp.dir /data/hadoop/tmp
主節(jié)點(diǎn)名稱：masters
master
數(shù)據(jù)節(jié)點(diǎn)名稱：slaves
master
slave01
slave02
注意：(1)如需要，可以在hadoop-env.sh中配置JAVA_HOME變量，比如：
exportJAVA_HOME=/usr/java/jdk1.6.0_18
(2)保證Hadoop文件系統(tǒng)各個節(jié)點(diǎn)上配置文件的一致性。
初始化namenode節(jié)點(diǎn)
登錄到namenode上，cd/data/hadoop/install/bin，然后格式化Image文件的存儲空間：
./hadoopnamenode-format
如果出錯，就查看/data/hadoop/install/logs下的日志文件。
啟動HDFS服務(wù)
在/data/hadoop/install/bin下有很多命令，
*start-all.sh啟動所有的Hadoop守護(hù)，包括namenode,datanode，jobtracker，tasktrack，secondarynamenode。
*stop-all.sh停止所有的Hadoop。
*start-mapred.sh啟動Map/Reduce守護(hù)，包括Jobtracker和Tasktrack。
*stop-mapred.sh停止Map/Reduce守護(hù)
*start-dfs.sh啟動HadoopDFS守護(hù)，Namenode和Datanode。
*stop-dfs.sh停止DFS守護(hù)
簡單使用
創(chuàng)建目錄：./hadoopdfs-mkdirtest
查看目錄：./hadoopdfs-ls
drwxr-xr-x-hadoopsupergroup02010-03-0421:27/user/hadoop/test
拷貝文件：./hadoopdfs-put/etc/servicestest，即把本地的文件存放到HDFS中
WEB界面
HDFS啟動后，可以通過WEB界面來查看，缺省端口為50070，比如：http://master:50070/
即可查看整個HDFS的狀態(tài)以及使用統(tǒng)計(jì)。
對于Mapreduce的WEB界面，缺省端口是50030。本節(jié)關(guān)于Hadoop文件系統(tǒng)的安裝與使用介紹到這里。
網(wǎng)站名稱：Hadoop文件系統(tǒng)如何快速安裝？
網(wǎng)站網(wǎng)址：http://fisionsoft.com.cn/article/cdiehch.html
