图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › MapReduce › hadoop2.2的mapreduce问题
分享

hadoop2.2的mapreduce问题

有妳很满促 发表于 2013-12-16 12:43:14 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 11 11328
抢楼 本帖为抢楼帖，欢迎抢楼! 
About云VIP帮助找工作和提升
public class WordCountTx {
    public static class MapClass extends MapReduceBase
    implements Mapper<LongWritable, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

       @Override
       public void map(LongWritable key, Text value,
                     OutputCollector<Text, IntWritable> output,
            Reporter reporter) throws IOException {
              String line = value.toString();
              StringTokenizer itr = new StringTokenizer(line);
              while (itr.hasMoreTokens()) {
                     word.set(itr.nextToken());
                     output.collect(word, one);
              }
  }
  }

  public static class Reduce extends MapReduceBase
    implements Reducer<Text, IntWritable, Text, IntWritable> {

       @Override
    public void reduce(Text key, Iterator<IntWritable> values,
                       OutputCollector<Text, IntWritable> output,
                       Reporter reporter) throws IOException {
      int sum = 0;
      while (values.hasNext()) {
        sum += values.next().get();
      }
      output.collect(key, new IntWritable(sum));
    }
  }

  public static void main(String[] args) throws Exception {

         JobConf conf = new JobConf(WordCountTx.class);
         // hdfs地址
         conf.set("fs.default.name", "hdfs://192.168.1.238:9000");
         conf.set("mapred.job.tracker","hdfs://192.168.1.238:9009");
         // 设置jar
         File jarFile = EightSpaceJob.createTempJar("bin");

         EightSpaceJob.addClasspath("/usr/hadoop/etc/hadoop");

         ClassLoader classLoader = EightSpaceJob.getClassLoader();

         Thread.currentThread().setContextClassLoader(classLoader);

         conf.setJar(jarFile.toString());

         conf.setJobName("wordcounttxt");

         conf.setOutputKeyClass(Text.class);
         conf.setOutputValueClass(IntWritable.class);

         conf.setMapperClass(MapClass.class);
         conf.setReducerClass(Reduce.class);

         FileInputFormat.setInputPaths(conf, new Path("/inpath/txttest"));
         FileOutputFormat.setOutputPath(conf, new Path("/logAalyse"));

         JobClient.runJob(conf);   
  }   
}
上边的代码是我写的，大家看看有什么问题，然后运行的时候报错如下
log4j:WARN No appenders could be found for logger (org.apache.hadoop.conf.Configuration.deprecation).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
        at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82)
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75)
        at org.apache.hadoop.mapred.JobClient.init(JobClient.java:470)
        at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:449)
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:832)
        at com.eightsapce.mapreducetxt.WordCountTx.main(WordCountTx.java:96)


回复

使用道具 举报

自定义广告语

已有(11)人评论

跳转到指定楼层
有妳很满促 发表于 2013-12-16 12:50:08

hadoop2.2的mapreduce的使用

public class WordCountTx {
    public static class MapClass extends MapReduceBase
    implements Mapper<LongWritable, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

       @Override
       public void map(LongWritable key, Text value,
                     OutputCollector<Text, IntWritable> output,
            Reporter reporter) throws IOException {
              String line = value.toString();
              StringTokenizer itr = new StringTokenizer(line);
              while (itr.hasMoreTokens()) {
                     word.set(itr.nextToken());
                     output.collect(word, one);
              }
  }
  }

  public static class Reduce extends MapReduceBase
    implements Reducer<Text, IntWritable, Text, IntWritable> {

       @Override
    public void reduce(Text key, Iterator<IntWritable> values,
                       OutputCollector<Text, IntWritable> output,
                       Reporter reporter) throws IOException {
      int sum = 0;
      while (values.hasNext()) {
        sum += values.next().get();
      }
      output.collect(key, new IntWritable(sum));
    }
  }

  public static void main(String[] args) throws Exception {

         JobConf conf = new JobConf(WordCountTx.class);
         // hdfs地址
         conf.set("fs.default.name", "hdfs://192.168.1.238:9000");
         conf.set("mapred.job.tracker","hdfs://192.168.1.238:9009");
         // 设置jar
         File jarFile = EightSpaceJob.createTempJar("bin");

         EightSpaceJob.addClasspath("/usr/hadoop/etc/hadoop");

         ClassLoader classLoader = EightSpaceJob.getClassLoader();

         Thread.currentThread().setContextClassLoader(classLoader);

         conf.setJar(jarFile.toString());

         conf.setJobName("wordcounttxt");

         conf.setOutputKeyClass(Text.class);
         conf.setOutputValueClass(IntWritable.class);

         conf.setMapperClass(MapClass.class);
         conf.setReducerClass(Reduce.class);

         FileInputFormat.setInputPaths(conf, new Path("/inpath/txttest"));
         FileOutputFormat.setOutputPath(conf, new Path("/logAalyse"));

         JobClient.runJob(conf);   
  }   
}
上边的代码是我写的，大家看看有什么问题，然后运行的时候报错如下
log4j:WARN No appenders could be found for logger (org.apache.hadoop.conf.Configuration.deprecation).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
        at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82)
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75)
        at org.apache.hadoop.mapred.JobClient.init(JobClient.java:470)
        at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:449)
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:832)
        at com.eightsapce.mapreducetxt.WordCountTx.main(WordCountTx.java:96)

回复

使用道具 举报

lzw 发表于 2013-12-16 14:07:38
有妳很满促 发表于 2013-12-16 12:50

你是在eclipse中运行的还是用hadoop jar命令执行的。
回复

使用道具 举报

lzw 发表于 2013-12-16 14:19:24
我发现这个代码也不是haoop2.2.0的吧，应该是1.0之前的版本。
回复

使用道具 举报

有妳很满促 发表于 2013-12-17 12:05:50
lzw 发表于 2013-12-16 14:07
你是在eclipse中运行的还是用hadoop jar命令执行的。

在eclipse中运行
回复

使用道具 举报

有妳很满促 发表于 2013-12-17 12:06:38
lzw 发表于 2013-12-16 14:19
我发现这个代码也不是haoop2.2.0的吧，应该是1.0之前的版本。

我看网上说2.x和1.x代码一样啊
回复

使用道具 举报

lzw 发表于 2013-12-17 12:44:17
有妳很满促 发表于 2013-12-17 12:06
我看网上说2.x和1.x代码一样啊

上面举的例子既不是1.0.x，也不是2.0.x版本的。
回复

使用道具 举报

有妳很满促 发表于 2013-12-18 12:05:09
lzw 发表于 2013-12-17 12:44
上面举的例子既不是1.0.x，也不是2.0.x版本的。

那你有那个2.x的例子不
回复

使用道具 举报

lzw 发表于 2013-12-18 21:15:16
有妳很满促 发表于 2013-12-18 12:05
那你有那个2.x的例子不

新建3个类文件，代码依次如下：Mapper 类：MaxTemperatureMapper.java
  1. importjava.io.IOException; 

  2. 

  3. importorg.apache.hadoop.io.IntWritable;

  4. 

  5. importorg.apache.hadoop.io.LongWritable;

  6. 

  7. importorg.apache.hadoop.io.Text;

  8. 

  9. importorg.apache.hadoop.mapreduce.Mapper;

  10. 

  11.  

  12. 

  13. public class MaxTemperatureMapper extends Mapper<LongWritable, Text,Text, IntWritable> { 

  14. 

  15.          @Override

  16. 

  17.          public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{                                    

  18. 

  19.                    String line =value.toString();                               

  20. 

  21.                    try {

  22. 

  23.                             String year =line.substring(0,4);

  24. 

  25.                             int airTemperature = Integer.parseInt(line.substring(5));            

  26. 

  27.                             context.write(new Text(year),new IntWritable(airTemperature));                           

  28. 

  29.                    } catch (Exception e) {

  30. 

  31.                             System.out.print("Error in line:" + line);

  32. 

  33.                    }                                  

  34. 

  35.          }        

  36. 

  37. }
复制代码

Reducer类：MaxTemperatureReducer.java
  1. importjava.io.IOException; 

  2. 

  3. importorg.apache.hadoop.io.IntWritable;

  4. 

  5. importorg.apache.hadoop.io.Text;

  6. 

  7. importorg.apache.hadoop.mapreduce.Reducer;

  8. 

  9.  

  10. 

  11. public class MaxTemperatureReducer extendsReducer<Text,IntWritable,Text,IntWritable> {        

  12. 

  13.          @Override

  14. 

  15.          public void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException        {

  16. 

  17.                    int maxValue = Integer.MIN_VALUE;                  

  18. 

  19.                    for(IntWritable value: values){

  20. 

  21.                             maxValue = Math.max(maxValue,value.get());                

  22. 

  23.                    }        

  24. 

  25.                    context.write(key, new IntWritable(maxValue));                 

  26. 

  27.          } 

  28. 

  29. }
复制代码


主类：MaxTemperatureDriver.java

  1. importorg.apache.hadoop.conf.Configuration;

  2. 

  3. importorg.apache.hadoop.conf.Configured;

  4. 

  5. importorg.apache.hadoop.fs.Path;

  6. 

  7. importorg.apache.hadoop.io.IntWritable;

  8. 

  9. importorg.apache.hadoop.io.Text;

  10. 

  11. importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;

  12. 

  13. importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

  14. 

  15. importorg.apache.hadoop.mapreduce.Job;

  16. 

  17. importorg.apache.hadoop.util.Tool;

  18. 

  19. importorg.apache.hadoop.util.ToolRunner;

  20. 

  21.  

  22. 

  23. public class MaxTemperatureDriver extends Configuredimplements Tool {

  24. 

  25.  

  26. 

  27.          @SuppressWarnings("deprecation")

  28. 

  29.          @Override

  30. 

  31.          public int run(String[] args) throwsException {                  

  32. 

  33.                    if (args.length != 2){

  34. 

  35.                             System.err.printf("Usage: %s <input><output>",getClass().getSimpleName());

  36. 

  37.                             ToolRunner.printGenericCommandUsage(System.err);

  38. 

  39.                             return -1;                  

  40. 

  41.                    }                  

  42. 

  43.                    Configuration conf =getConf();                

  44. 

  45.                    Job job = newJob(getConf());

  46. 

  47.                    job.setJobName("Max Temperature");                  

  48. 

  49.                    job.setJarByClass(getClass());

  50. 

  51.                    FileInputFormat.addInputPath(job,new Path(args[0]));

  52. 

  53.                    FileOutputFormat.setOutputPath(job,new Path(args[1]));                  

  54. 

  55.                    job.setMapperClass(MaxTemperatureMapper.class);

  56. 

  57.                    job.setReducerClass(MaxTemperatureReducer.class);                  

  58. 

  59.                    job.setOutputKeyClass(Text.class);

  60. 

  61.                    job.setOutputValueClass(IntWritable.class);                  

  62. 

  63.                    return job.waitForCompletion(true)?0:1;                  

  64. 

  65.          }

  66. 

  67.         

  68. 

  69.          public static void main(String[] args)throws Exception{

  70. 

  71.                    int exitcode = ToolRunner.run(new MaxTemperatureDriver(), args);

  72. 

  73.                    System.exit(exitcode);                  

  74. 

  75.          }   

  76. 

  77. }
复制代码

回复

使用道具 举报

有妳很满促 发表于 2013-12-27 11:26:35
lzw 发表于 2013-12-18 21:15
新建3个类文件，代码依次如下：Mapper 类：MaxTemperatureMapper.java

Reducer类：MaxTemperatureRedu ...

谢了，有时间试试
回复

使用道具 举报

12下一页
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
有妳很满促

注册会员

关注

  • 3

    主题

  • 12

    帖子

  • 3

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000