分享

菜鸟求助eclipse连接hadoop的问题

操作系统是ubuntu,用的是hadoop2.4.1,自己编译了eclipse-hadoop插件,在eclipse上也能读取到hdfs上的文件,但是就是写的程序在eclipse上无法在hdfs上增加文件和文件夹。(导出成jar包放到hadoop系统上是可以运行也成功添加文件了)也修改了hdfs-site.xml的dfs.permissions为false,但是一样不起作用。

eclipse运行的时候会提示三行log4j的错误,如截图: 提问1.jpg

复制了/hadoop/etc/hadoop里的log4j.property到eclipse项目中之后会出现: 提问2.jpg
但是感觉这个warn警告应该和eclipse远程无法增加hdfs文件夹的问题没有太大关系,真的搞不懂了。
求大神指点了!

已有(3)人评论

跳转到指定楼层
desehawk 发表于 2014-12-10 15:35:50

eclipse插件的作用能否方便查看输出结果。

比如你可以运行mapreduce之后,可以在相应的文件中看到是成功,还是不成功。
成功了,输出结果也会在相应的文件中能看到。

对于创建文件夹,没有这么尝试过,其实也没有必要通过eclipse创建文件夹。

并且这个eclipse插件是可有可无的,个人认为没有必要再上面话费太多的时间。

如果硬要这么做的,你可以通过hdfs api的方式来操作,如果未创建成功,主要检测两方面:
1.通过自己手工操作的方式
2.如果手工操作可以上传文件,那么剩下的就是自己代码的问题了。

环境方面建议,可能缺少插件,详细参考
零基础学习hadoop到上手工作线路指导(编程篇)


回复

使用道具 举报

小眼哥咯咯咯 发表于 2014-12-17 11:07:48
desehawk 发表于 2014-12-10 15:35
eclipse插件的作用能否方便查看输出结果。

比如你可以运行mapreduce之后,可以在相应的文件中看到是成 ...

谢谢事实上我是想从最基本的程序来测试我是否能在eclipse上远程控制hdfs,实际用worldcount在eclipse上跑也失败了。
QQ图片20141217110626.jpg


回复

使用道具 举报

pig2 发表于 2014-12-17 11:50:23
小眼哥咯咯咯 发表于 2014-12-17 11:07
谢谢事实上我是想从最基本的程序来测试我是否能在eclipse上远程控制hdfs,实际用worldcount在eclipse上跑 ...
楼主记得配置hosts或则直接写ip地址
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条