建站
咨詢
售后
建站咨詢
新聞中心
本篇內(nèi)容介紹了“怎么從Hadoop URL中讀取數(shù)據(jù)”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
站在用戶的角度思考問題，與客戶深入溝通，找到西藏網(wǎng)站設(shè)計(jì)與西藏網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)頁空間、企業(yè)郵箱。業(yè)務(wù)覆蓋西藏地區(qū)。
要從Hadoop文件系統(tǒng)中讀取文件，一個(gè)最簡(jiǎn)單的方法是使用java.net.URL對(duì)象來打開一個(gè)數(shù)據(jù)流，從而從中讀取數(shù)據(jù)。一般的格式如下：
1. InputStream in = null;
2. try {
3. in = new URL("hdfs://host/path").openStream();
4. // process in
5. } finally {
6. IOUtils.closeStream(in);
7. }
這里還需要一點(diǎn)工作來讓Java識(shí)別Hadoop文件系統(tǒng)的URL 方案，就是通過一個(gè)FsUrlStreamHandlerFactory實(shí)例來調(diào)用在URL中的setURLStreamHandler-Factory方法。這種方法在一個(gè)Java虛擬機(jī)中只能被調(diào)用一次，因此一般都在一個(gè)靜態(tài)塊中執(zhí)行。這個(gè)限制意味著如果程序的其他部件(可能是不在你控制中的第三方部件)設(shè)置一個(gè)URLStreamHandlerFactory，我們便無法再?gòu)腍adoop中讀取數(shù)據(jù)。下一節(jié)將討論另一種方法。
例3-1展示了以標(biāo)準(zhǔn)輸出顯示Hadoop文件系統(tǒng)的文件的程序，它類似于Unix的cat命令。
例3-1：用URLStreamHandler以標(biāo)準(zhǔn)輸出格式顯示Hadoop文件系統(tǒng)的文件
1. public class URLCat {
2.
3. static {
4. URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
5. }
6.
7. public static void main(String[] args) throws Exception {
8. InputStream in = null;
9. try {
10. in = new URL(args[0]).openStream();
11. IOUtils.copyBytes(in, System.out, 4096, false);
12. } finally {
13. IOUtils.closeStream(in);
14. }
15. }
16. }
我們使用Hadoop中簡(jiǎn)潔的IOUtils類在finally子句中關(guān)閉數(shù)據(jù)流，同時(shí)復(fù)制輸入流和輸出流之間的字節(jié)(本例中是System.out)。copyBytes方法的最后兩個(gè)參數(shù)，前者是要復(fù)制的緩沖的大小，后者表示復(fù)制結(jié)束后是否關(guān)閉數(shù)據(jù)流。這里是將輸入流關(guān)掉了，而System.out不需要關(guān)閉。
“怎么從Hadoop URL中讀取數(shù)據(jù)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！
網(wǎng)站標(biāo)題：怎么從HadoopURL中讀取數(shù)據(jù)
網(wǎng)頁地址：http://fisionsoft.com.cn/article/gsphgo.html
