建站
咨詢
售后
建站咨詢
新聞中心
原理
目前創(chuàng)新互聯(lián)建站已為1000+的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、常山網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
NFS允許用戶像訪問本地文件系統(tǒng)一樣訪問遠(yuǎn)程文件系統(tǒng)，而將NFS引入HDFS后，用戶可像讀寫本地文件一樣讀寫HDFS上的文件，大大簡化了HDFS使用，這是通過引入一個(gè)NFS gateway服務(wù)實(shí)現(xiàn)的，該服務(wù)能將NFS協(xié)議轉(zhuǎn)換為HDFS訪問協(xié)議，具體如下圖所示。
Portmap和Nfs3進(jìn)程是成功啟動(dòng)hdfs nfs網(wǎng)關(guān)后才有的進(jìn)程
HDFS NFS Gateway安裝配置詳解
http://blog.csdn.net/rzliuwei/article/details/38388279
啟動(dòng)NFS Gateway 服務(wù)
官網(wǎng)鏈接
http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
驗(yàn)證服務(wù)
如果不是可以查看/etc/exports文件
掛載HDFS
掛載HDFS文件系統(tǒng)到本地的/mnt/hdfs目錄下
在NFS GATEWAY主機(jī)上輸入
sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs
May 8 15:53:18 cdh2 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host
如果報(bào)錯(cuò)因?yàn)闄C(jī)器默認(rèn)沒有打開NFSv3，修改/etc/sysconfig/nfs文件
把RPCNFSDARGS="-N 4"前面的#去掉（4兼容2和3），修改重啟所有服務(wù)。
查看報(bào)錯(cuò)詳細(xì)信息：
cat /var/log/messages|grep mount
成功掛載后如下所示，可以看到HDFS文件系統(tǒng)已掛載到本地目錄
創(chuàng)建目錄
可以看到HDFS系統(tǒng)上對(duì)應(yīng)目錄已創(chuàng)建成功
從本地上傳文件到HDFS
文件大小為500m,測試性能
time cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test
我的環(huán)境上耗時(shí)大概48s，10M/s的速度，還可以
解掛HDFS
報(bào)錯(cuò)umount.nfs: /mnt/hdfs: device is busy
fuser -m /mnt/hdfs，查看此文件系統(tǒng)正在被哪些進(jìn)程訪問
yum -y install lsof
查看此文件系統(tǒng)中正在被使用的文件，可以看到/data目錄被正在使用
kill -9 15355 殺死訪問進(jìn)程就可以，輸入umount /mnt/hdfs解掛成功。
補(bǔ)充：
linux下好用的命令：tree
安裝tree包
yum -y install tree
安裝后鍵入 tree /mnt/hdfs/hbase，目錄結(jié)構(gòu)以樹形的方式顯示是不是很直觀
當(dāng)前文章：hadoop新特性通過NFSv3掛載HDFS到本地目錄
本文地址：http://fisionsoft.com.cn/article/peejii.html
