建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop0.20.0部署與測試方面的內(nèi)容，本節(jié)主要包括單機(jī)模式和偽分布模式操縱方法介紹等內(nèi)容，希望通過本節(jié)的介紹大家能夠掌握Hadoop0.20.0部署與測試方法。下面是具體介紹。
成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、博興網(wǎng)絡(luò)推廣、微信小程序定制開發(fā)、博興網(wǎng)絡(luò)營銷、博興企業(yè)策劃、博興品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供博興建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com
1.單機(jī)模式Local(Standalone)Mode
默認(rèn)情況下，Hadoop被配置成以非分Java布式模式運(yùn)行的一個(gè)獨(dú)立進(jìn)程。這對調(diào)試非常有幫助。
經(jīng)過上述配置，就可以運(yùn)行單機(jī)模式了。具體操作請查看手冊
2.偽分布式模式的操作方法
Hadoop0.20.0部署中Hadoop可以在單節(jié)點(diǎn)上以所謂的偽分布式模式運(yùn)行，此時(shí)每一個(gè)Hadoop守護(hù)進(jìn)程都作為一個(gè)獨(dú)立的Java進(jìn)程運(yùn)行。
0.20版本較之前版本比配置文件有較大改動，由原來全部配置在hadoop-site.xml改為分別配置在以下三個(gè)文件中：
conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml
具體配置查看手冊
以conf/core-site.xml為例:
fs.default.name hdfs://localhost:9000
如果出現(xiàn)連接錯(cuò)誤，可以嘗試將了localhost替換為本機(jī)IP或127.0.0.1
Hadoop0.20.0部署中免密碼ssh設(shè)置
現(xiàn)在確認(rèn)能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost，執(zhí)行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
執(zhí)行
格式化一個(gè)新的分布式文件系統(tǒng)：
$bin/hadoopnamenode-format
啟動Hadoop守護(hù)進(jìn)程：
$bin/start-all.sh
Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
到這步為止，必須要先訪問上面的NameNode網(wǎng)絡(luò)接口,當(dāng)頁面能正常顯示HDFS的狀態(tài)時(shí)，才能正常進(jìn)行下面的步驟。
1.點(diǎn)擊Browsethefilesystem,***次進(jìn)入可能會返回一個(gè)404錯(cuò)誤頁面。
2.返回上一頁，刷新頁面，這時(shí)候應(yīng)該會出現(xiàn)下圖所示畫面，這就表明DFS已經(jīng)正常工作(即DFSUsed等數(shù)值不再顯示為0)。
3.如果不行就反復(fù)操作1，2步驟，直至成功。
將輸入文件拷貝到分布式文件系統(tǒng)：$bin/hadoopfs-putconfinput
運(yùn)行發(fā)行版提供的示例程序：$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'
查看輸出文件：
將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看：
$bin/hadoopfs-getoutputoutput
$catoutput/*
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統(tǒng)上查看輸出文件：
- $bin/hadoopfs-catoutput/*
- $bin/hadoopfs-catoutput/*
- 3dfs.class
- 2dfs.period
- 1dfs.file
- 1dfs.replication
- 1dfs.servers
- 1dfsadmin
- 1dfsmetrics.log
- 3 dfs.class
- 2 dfs.period
- 1 dfs.file
- 1 dfs.replication
- 1 dfs.servers
- 1 dfsadmin
- 1 dfsmetrics.log
完成全部操作后，停止守護(hù)進(jìn)程：$bin/stop-all.sh
Hadoop0.20.0部署與測試中的命令（Command）總結(jié)
這部分內(nèi)容其實(shí)可以通過命令的Help以及介紹了解，我主要側(cè)重于介紹一下我用的比較多的幾個(gè)命令。Hadoopdfs這個(gè)命令后面加參數(shù)就是對于HDFS的操作，和Linux操作系統(tǒng)的命令很類似，例如：
Hadoopdfs–ls就是查看/usr/root目錄下的內(nèi)容，默認(rèn)如果不填路徑這就是當(dāng)前用戶路徑；
Hadoopdfs–rmrxxx就是刪除目錄，如果多次執(zhí)行，則每次執(zhí)行前可以用此命令刪除已存在的文件夾內(nèi)容；
Hadoopdfsadmin–report這個(gè)命令可以全局的查看DataNode的情況；
Hadoopjob后面增加參數(shù)是對于當(dāng)前運(yùn)行的Job的操作，例如list,kill等；
Hadoopbalancer就是前面提到的均衡磁盤負(fù)載的命令。本節(jié)關(guān)于Hadoop0.20.0部署與測試相關(guān)內(nèi)容介紹到這里。
本文名稱：Hadoop0.20.0部署與測試中的單機(jī)和偽分布模式操作方法簡介
分享地址：http://fisionsoft.com.cn/article/djcoiei.html
