关于hadoop搭建有几个困惑

问题1:  搭建hadoop2.2.0完全分布时，当修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这些配置文件其中之一时，是不是都需要重新格式化hdfs：hdfs namenode -format ？

问题2: 新增datanode到集群时，namenode节点上要配置slaves文件，那集群下其他的datanode是否也需要更新slaves文件（或者换句话说，是不是所有的datanode节点的配置文件都与namenode节点上的配置文件保持同步更新）？

问题3: 集群下每个datanode和namenode必须免密码ssh登陆，那每个datanode之间有必要也设置免密码ssh登陆吗？

本人刚学hadoop，请知道的人帮忙解答下哈，谢谢~

问题1:  搭建hadoop2.2.0完全分布时，当修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这些配置文件其中之一时，是不是都需要重新格式化hdfs：hdfs namenode -format ？
这个不需要，重启下hadoop即可

问题2: 新增datanode到集群时，namenode节点上要配置slaves文件，那集群下其他的datanode是否也需要更新slaves文件（或者换句话说，是不是所有的datanode节点的配置文件都与namenode节点上的配置文件保持同步更新）？
这个需要都修改的，所以真正的环境需要集群管理工具，或则自己写个脚本进行分发

问题3: 集群下每个datanode和namenode必须免密码ssh登陆，那每个datanode之间有必要也设置免密码ssh登陆吗？
这个不敢确定，但是都设置了免密码登录，应该没有错

谢谢楼上的，至于第三个问题，有谁知道可以说说，毕竟今后我写脚本，可以省事点

wzf2012 发表于 2015-3-20 15:02
谢谢楼上的，至于第三个问题，有谁知道可以说说，毕竟今后我写脚本，可以省事点

对于hadoop集群来讲，一般只设置namenode到datanode免登录即可。但是由于在集群之间传递数据是经常的，所以建议都相互免密码。这个也是楼主的个人选择

DN之间未设置免密码

1.第一次建集群和修改集群规模时候需要对HDFS进行格式化，简单说就是清除version的记录
2.需要，每个节点都需要配置的一致性
3.hadoop相当于1个主节点把任务分发给其他工作节点，最低保证主节点要无密码访问其他从节点，从节点之间不要求必须无密码访问