分享

Hadoop2.5集群安装成功,运行wordcount出错,

roant 发表于 2015-1-18 10:59:59 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 21 27146
1、各位论坛大神,想请问一下,在使用hadoopo2.5以及以上的版本时,对于/etc/hosts文件中的127.0.0.1 和127.0.1.1你们一般是把它们注释掉还是怎么样?


2、安装好了hadoop2.5之后,,每个节点信息都启动ok,jps该有的进程都有,运行wordcount示例的时候总是提示连接不上127.0.1.1:55372(每次运行端口一直在变化)connection refused。所以想请问你host中那两项一般怎么配置

3、(三台机器,1master,2slave)还有就是为什么在master:50070页面,显示 “live nodes:  2”,,,而在datanode界面却总是只能显示出一个slave的ip地址呢?就是两个都启动成功了,在master的界面上,只能看到一个(而且每次重新启动的时候,所指向的ip在slave1或者slave2中随机选一个,应该是指向了最后启动的那个slave)


只能显示出一个datanode

只能显示出一个datanode

2个存活的slave

2个存活的slave

运行wordcount,注释了127.0.1.1那个地址后,就卡在了running Job 不动了~~没更改之前总是提示连接不上127. ...

运行wordcount,注释了127.0.1.1那个地址后,就卡在了running Job 不动了~~没更改之前总是提示连接不上127. ...

已有(21)人评论

跳转到指定楼层
roant 发表于 2015-1-18 11:24:12
补充运行wordcount出错的情况

这个是运行wordcouunt出错时的情况,显示连接拒绝,“ubuntu:59214”中ubuntu是127.0.1.1对应的映射名,那 ...

这个是运行wordcouunt出错时的情况,显示连接拒绝,“ubuntu:59214”中ubuntu是127.0.1.1对应的映射名,那 ...
回复

使用道具 举报

langke93 发表于 2015-1-18 11:29:43
roant 发表于 2015-1-18 11:24
补充运行wordcount出错的情况


如果上图所示,把127.0.1.1注释掉,localhost对应127.0.1
回复

使用道具 举报

langke93 发表于 2015-1-18 11:30:38
配置方面,可以参考这个文档
hadoop2.2完全分布式最新高可靠安装文档

回复

使用道具 举报

roant 发表于 2015-1-18 11:42:49
回复

使用道具 举报

cochou 发表于 2015-1-18 11:45:57
回复

使用道具 举报

desehawk 发表于 2015-1-18 12:05:32
roant 发表于 2015-1-18 11:42
谢谢回复~!   
我注释掉127.0.1.1的情况之前试过,没注释前是运行出错(端口连接拒绝), ...
这个检查下自己的程序,看看那出问题了。这个程序是可以运行的,可以尝试下。

新手指导,该如何在开发环境中,创建mapreduce程序


回复

使用道具 举报

roant 发表于 2015-1-18 12:26:53
desehawk 发表于 2015-1-18 12:05
这个检查下自己的程序,看看那出问题了。这个程序是可以运行的,可以尝试下。

新手指导,该如何在开发 ...

这个,,,,自带的jar包~~~~~,,我看到了类似的问题帖子,已经PM,在等回复~~~,感觉配置没啥问题,,要不集群怎么全起来了,,,就是在执行任务时候,mapreduce过程总是卡住不动,,,,也不懂为什么,我贴个图,麻烦看下~~谢谢~!
QQ图片20150118121354.jpg
回复

使用道具 举报

desehawk 发表于 2015-1-18 12:42:25
roant 发表于 2015-1-18 12:26
这个,,,,自带的jar包~~~~~,,我看到了类似的问题帖子,已经PM,在等回复~~~,感觉配置没啥问题,, ...
这个原因很多,说明集群搭建的换不够稳定,这个显示的任务没有被分配。yarn是否启动了,查看下运行日志。

这有个例子,写的很详细,你也可以参考
hadoop2.2使用手册2:如何运行自带wordcount



回复

使用道具 举报

roant 发表于 2015-1-19 11:09:35

slave的节点信息,那个container是空的,不知道有没有问题

slave的节点信息,那个container是空的,不知道有没有问题
回复

使用道具 举报

123下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条