接下来将展示如何向一个hadoop集群中添加一个新的DataNode,以及如何强制HDFS进行数据的平衡
1、在新的节点上安装hadoop,同时把原来节点中的配置文件拷贝过来,可以使用rsync命令完成:
>rsync -a <master_node_ip>:hadoop-1.0.x/conf $HADOOP_HOME/conf
2、确保master node能够对新的节点实现免密码ssh登录,将新节点中的ssh公钥复制到master中authorized_keys中
3、把新节点的ip添加到master的 $HADOOP_HOME/conf/slaves文件中
4、通过以下命令单独启动新的节点
>bin/hadoop-deamon.sh start datanode
5、检查$HADOOP_HOME/logs/hadoop-*-datanode-*.log中新的节点是否有任何错误
6、通过以下命令,平衡HDFS,threshold 默认为是10
>bin/start-balancer.sh –threshold 15
可以通过 bin/stop-balancer.sh 停止平衡的操作
平衡操作的日志在 $HADOOP_HOME / logs/hadoop-*-balancer*.out