立即注册 登录
About云-梭伦科技 返回首页

maizhu的个人空间 https://www.aboutyun.com/?8077 [收藏] [复制] [分享] [RSS]

日志

添加一个新的DataNode(Adding a new DataNode)

已有 510 次阅读2014-10-19 22:58 |个人分类:HADOOP_HDFS

接下来将展示如何向一个hadoop集群中添加一个新的DataNode,以及如何强制HDFS进行数据的平衡
1、在新的节点上安装hadoop,同时把原来节点中的配置文件拷贝过来,可以使用rsync命令完成:
>rsync -a <master_node_ip>:hadoop-1.0.x/conf $HADOOP_HOME/conf
2、确保master node能够对新的节点实现免密码ssh登录,将新节点中的ssh公钥复制到master中authorized_keys中
3、把新节点的ip添加到master的 $HADOOP_HOME/conf/slaves文件中
4、通过以下命令单独启动新的节点
>bin/hadoop-deamon.sh start datanode
5、检查$HADOOP_HOME/logs/hadoop-*-datanode-*.log中新的节点是否有任何错误
6、通过以下命令,平衡HDFS,threshold 默认为是10
>bin/start-balancer.sh –threshold 15
可以通过 bin/stop-balancer.sh 停止平衡的操作
平衡操作的日志在 $HADOOP_HOME / logs/hadoop-*-balancer*.out


路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条