建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網營銷解決方案
hadoop如何通過cachefile來避免數(shù)據(jù)傾斜
這篇文章主要介紹了hadoop如何通過cachefile來避免數(shù)據(jù)傾斜，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
10年積累的成都網站設計、成都做網站、外貿網站建設經驗，可以快速應對客戶對網站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網絡服務。我雖然不認識你，你也不認識我。但先網站制作后付款的網站建設流程，更有沙灣免費網站建設讓你可以放心的選擇與我們合作。
package hello_hadoop;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class GetFileName {
//得到處理的文件名，以及將需要的文件緩存到相應的節(jié)點
private final static Log LOG = LogFactory.getLog(GetFileName.class);
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException, URISyntaxException {
LOG.info("Go into the main method ......");
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
job.setJarByClass(GetFileName.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
job.setMapperClass(GetFileNameMapper.class);
job.setNumReduceTasks(0);
//集群上添加DistributedCache data134:9000namenode的描述 #thelinkofthefile改文件的鏈接，下面讀取的時候需要使用
job.addCacheFile(new URI("hdfs://data134:9000/home/tmp.txt#thelinkofthefile"));
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
boolean test = job.waitForCompletion(true);
LOG.info("End the main method ......");
System.exit(test?0:1);
}
}
class GetFileNameMapper extends Mapper{
private final Log LOG = LogFactory.getLog(GetFileNameMapper.class);
@Override
protected void setup(Mapper.Context context)
throws IOException, InterruptedException {
if(context.getCacheFiles().length>0);
URI u = context.getCacheFiles()[0];
//這里使用鏈接來訪問文件
BufferedReader br = new BufferedReader( new FileReader(new File("./thelinkofthefile")));
String line = br.readLine();
context.write(new Text(line), new Text());
System.out.println("Here I read Line :"+line);
}
@Override
protected void map(LongWritable key, Text value, Mapper.Context context)
throws IOException, InterruptedException {
}
} 感謝你能夠認真閱讀完這篇文章，希望小編分享的“hadoop如何通過cachefile來避免數(shù)據(jù)傾斜”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關知識等著你來學習!
當前文章：hadoop如何通過cachefile來避免數(shù)據(jù)傾斜
URL地址：http://fisionsoft.com.cn/article/joojcs.html
