魔天记忘语小说,绝色狂妃仙魅小说,耳根

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案

Hadoop應(yīng)用引用第三方j(luò)ar的幾種方式（一）-創(chuàng)新互聯(lián)

雖然我們可以在Eclipse下面開(kāi)發(fā)Hadoop應(yīng)用程序，但是當(dāng)我們引用了第三方j(luò)ar文件的時(shí)候，把我們編寫(xiě)的程序打成jar包之后，如何能夠在Hadoop集群下面運(yùn)行，是一個(gè)我們?cè)诔绦蜷_(kāi)發(fā)的過(guò)程中必須要解決的一個(gè)問(wèn)題，通過(guò)搜索資料，在這里把幾種可行的解決方案在這里總結(jié)一下。

成都創(chuàng)新互聯(lián)是一家專(zhuān)注于網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),德江網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:德江等地區(qū)。德江做網(wǎng)站價(jià)格咨詢(xún):18980820575

本來(lái)打算也一篇的，可是寫(xiě)到后來(lái)，發(fā)現(xiàn)我太啰嗦了，寫(xiě)的有點(diǎn)太細(xì)了，決定分開(kāi)來(lái)寫(xiě)，寫(xiě)成兩篇好了。。。。

第一篇：主要寫(xiě)Eclipse下面引入第三方j(luò)ar，以及打包在集群上運(yùn)行。

第二篇：主要寫(xiě)Hadoop應(yīng)用程序如何引入第三方j(luò)ar，以及對(duì)生產(chǎn)環(huán)境下應(yīng)該怎么去引入第三方j(luò)ar的個(gè)人見(jiàn)解，文章鏈接《Hadoop應(yīng)用引用第三方j(luò)ar的幾種方式（二）》

===========================================================================================

在這里先說(shuō)一下Eclipse下面引入第三方j(luò)ar的方法，這和下面的打成jar包有關(guān)系，一般來(lái)說(shuō)有兩種方法：一種方法是直接在本地磁盤(pán)的目錄下，然后引入；另一種方法是在Eclipse工程根目錄下面新建lib目錄，然后引入。

第一種引入方法

在這里以Hadoop的提供的WordCount進(jìn)行簡(jiǎn)單的修改來(lái)進(jìn)行測(cè)試。代碼如下：

package com.hadoop.examples;
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import com.hadoop.hdfs.OperateHDFS;

public class WordCount {

    public static class TokenizerMapper extends
            Mapper {

        private final static IntWritable one = new IntWritable(1);

        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            
            //它什么都不做，就是為了測(cè)試引入第三方j(luò)ar的，如果找不到，肯定就會(huì)報(bào)ClassNotFound異常
            OperateHDFS s = new OperateHDFS();
            
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer {

        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        
        String[] otherArgs =
                new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            System.err.println("Usage: wordcount  [...] ");
            System.exit(2);
        }
        Job job = new Job(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(
                otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1); 
    }
}

我把一個(gè)jar包放在的D盤(pán)的mylib目錄下面，這個(gè)jar是上一篇文章《使用Hadoop提供的API操作HDFS》中的類(lèi)打成的jar包