日志

分享 MR执行流程

2014-12-8 17:21

1.执行MR的命令： hadoop jar jar在linux的路径 main方法所在的类的全类名 参数 例子： hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2 2.MR执行流程 (1).客户端提交一个mr ...

个人分类: 笔记|1135 次阅读|0 个评论

分享 hadoop 远程调试

2014-12-8 17:20

JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组成。它的设计目的是让调试人员在 ...

个人分类: 笔记|1747 次阅读|0 个评论

分享 hadoop 伪分布搭建

2014-12-3 11:12

0.使用host-only方式 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同 1.Linux环境配置（windows下面的防火墙也要关闭） 1.1修改主机名 & ...

个人分类: 笔记|1127 次阅读|0 个评论

分享 hbase shell

2014-12-3 11:10

1.0查看帮助 hadoop fs -help cmd 1.1上传 hadoop fs -put linux上文件 hdfs上的路径 1.2查看文件内容 hadoop fs ...

个人分类: 笔记|1192 次阅读|0 个评论

分享 错误java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.Reducer$Context.如 ...

2014-9-2 17:44

java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.Reducer$Context.init(Lorg/apache/hadoop/mapreduce/Reducer;Lorg/apache/hadoop/conf/Configuration;Lorg/apache/hadoop/mapreduce/TaskAttemptID;Lorg/apache/hadoop/mapred/RawKeyValueIterator;Lorg/apache/hadoop/mapreduce/Counter;Lorg/apache/had ...

个人分类: 错误|1985 次阅读|2 个评论 热度 1

分享 wordCount

2014-8-31 10:38

package cn.hyh.test; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.had ...

个人分类: code|765 次阅读|0 个评论

本页有 1 篇日志因作者的隐私设置或未通过审核而隐藏