分享

实际生产环境里应用MapReduce的问题

seraph50 发表于 2015-3-9 13:51:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 18 42445
提示: 作者被禁止或删除 内容自动屏蔽

已有(18)人评论

跳转到指定楼层
arsenduan 发表于 2015-3-9 14:35:49
会的,只要有文件,有路径。没有问题的
回复

使用道具 举报

seraph50 发表于 2015-3-9 14:40:53
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

arsenduan 发表于 2015-3-9 14:47:16
seraph50 发表于 2015-3-9 14:40
哥们,能详细回答下么?我不懂你的意思 = =



  1. public void testUploadFile1() throws IOException{
  2.                 Configuration conf = new Configuration();
  3.                 FileSystem fs = FileSystem.get(URI.create(hdfsUrl), conf);
  4.                 Path src = new Path("/home/xwchen/hadoop/hadoop-1.2.1/bin/rcc");
  5.                 Path dst = new Path("/test");
  6.                 fs.copyFromLocalFile(src, dst);
  7.         }
复制代码
比如上面代码会把"/home/xwchen/hadoop/hadoop-1.2.1/bin的rcc文件上传到hdfs/test文件夹下。如果会了hdfs编程和mapreduce编程,这个不难。
可以参考:
Hadoop培训笔记之HDFS编程

hadoop实战:Java对hdfs的编程



回复

使用道具 举报

seraph50 发表于 2015-3-9 15:31:27
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

arsenduan 发表于 2015-3-9 15:48:44
seraph50 发表于 2015-3-9 15:31
我的意思是怎么远程提交MapReduce任务,在不使用eclipse插件的情况下,直接通过代码提交任务给集群


插件只是辅助,
开发方式有两种:
1.插件
2.不使用插件
详细查看:
hadoop开发方式总结及操作指导



回复

使用道具 举报

arsenduan 发表于 2015-3-9 15:49:37
seraph50 发表于 2015-3-9 15:31
我的意思是怎么远程提交MapReduce任务,在不使用eclipse插件的情况下,直接通过代码提交任务给集群
不会写mapreduce可以参考这个:新手指导,该如何在开发环境中,创建mapreduce程序




回复

使用道具 举报

sixian0803@163. 发表于 2015-3-10 12:23:58
可以  不通过插件  单纯的代码就行   需要设置几个参数
http://blog.csdn.net/qingmu0803/article/details/42124571
回复

使用道具 举报

seraph50 发表于 2015-3-12 12:59:09
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

seraph50 发表于 2015-3-12 13:00:51
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条