分享

hadoop集群的几个疑问,困惑很久了

jxlhc09 发表于 2013-10-16 13:39:45 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 7132
1.master需要向slave简历ssh无密码登录,那salve需要向master建立ssh无密码登录吗?
2.slave的hosts文件里除了添加master的ip和主机名,还需要添加其他slave的ip和主机名吗?
3.slave的slaves文件需要添加集群所有的slave主机名吗?
4.所有slave的salves文件里需要添加master主机名吗?
希望各位能回答,当然等回答出为什么就感激不尽了
              
               
      

已有(5)人评论

跳转到指定楼层
skyparty 发表于 2013-10-16 13:40:43

            怎么没人回答呢。。。
        
回复

使用道具 举报

jerry52400 发表于 2013-10-16 13:41:39

            1,需要
2,需要
3与4  你直接把你的master的hadoop拷贝到各个slave就ok了
        
回复

使用道具 举报

tntzbzc 发表于 2013-10-16 13:42:18

            1.不用
2,3,4,建议hosts文件,slaves配置都用同一份的,写个shell 拿scp复制,以后增加节点什么的改起来方便
        
回复

使用道具 举报

skyparty 发表于 2013-10-16 13:42:59

            3:是肯定需要,它是所有的datanode节点列表,每台服务器都是一样的配置
4:不一定。如果namenode这台服务器不需要做datanode,那么slaves文件就不需要写master的主机名和ip
1:我的理解:namenode的启动脚本(start-dfs.sh)最终是调用slave.sh这个脚本来启动datanode的,而这个脚本就是通过ssh协议来给slave服务器发命令的,所以必须要要有namenode到datanode的ssh免密码登陆。
            而datanode服务器是否需要免密码登陆到namenode,我记得是可以不用的。
2.我的理解:/etc/hosts文件主要有两个功能:一个是用来做免密码登陆,二是用来给slaves,masters文件做映射的。这个我没做过测试,不过我记得/etc/hosts有问题的话,那hadoop也会出问题。你不妨测试下~~
        
回复

使用道具 举报

tntzbzc 发表于 2013-10-16 13:43:32

            1、不需要
2、需要
3、需要
4、同上
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条