不可替代 发表于 2018-4-3 08:20:30

hdfs服役新节点、退役旧节点

      一、服役节点准备
      修改ip、主机名、配置ssh、删除服役节点的原有数据
二、服役操作步骤(在namenode节点机器上操作)
      1、 在NameNode节点所在的目录在创建dfs.hosts文件,并添加需要服役的节点机器

hadoop102
hadoop103
hadoop104
hadoop105

2、配置hdfs-site.xml,添加dfs.hosts属性

<property>
         <name>dfs.hosts</name>
         <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3.刷新Namenode
         hdfs dfsadmin -refreshNodes
4.更新resourcemanager节点
      yarn rmadmin -refreshNodes
5.在NameNode的slave文件中添加服役的hadoop105节点,但是不需要分发slave文件

hadoop102
hadoop103
hadoop104
hadoop105

    6.到服役的节点启动服务
      /opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh start datanode
      /opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh start nodemanager
    7.数据均衡
    /opt/module/hadoop-2.7.2/sbin/start-balancer.sh
————————————————————————————————————————————


三、退役旧节点
1.在NameNode的hadoop配置文件下创建dfs.hosts.exclude 文件、并添加要退役的节点

hadoop105
2.修改Namenode节点的hdfs-site.xml增加退役节点dfs.hosts.exclude 属性

<property><name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
<property>

3.刷新NameNode、刷新resourcemanager

/opt/module/hadoop-2.7.2/hdfs dfsadmin -refreshNodes
/opt/module/hadoop-2.7.2/yarn rmadmin -refreshNodes
4.进入浏览器查看,退役节点为decommission in progress 数据正在复制块到其他节点,复制完成后为decommissioned
———————————————————————————————————–
5.注意:当节点数小于副本数时,退役失败,需要修改副本数为小于等于节点数。

/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh stop datanode/opt/modele/hadoop-2.7.2/sbin/yarn-daemon.sh stop nodemanager

6.从include文件中删除退役的节点,在运行刷新节点的命令
(1)从Namenode的dfs.hosts文件中删除退役的节点hadoop105

hadoop102hadoop103
hadoop104

(2)刷新NameNode,刷新resourcemanager
/opt/module/hadoop-2.7.2/hdfs dfsadmin -refreshNodes
/opt/module/hadoop-2.7.2/yarn rmadmin -refreshNodes
7.从NameNode的slave文件中删除退役节点hadoop105

hadoop102hadoop103
hadoop104

8.数据均衡
/opt/module/hadoop-2.7.2/sbin/start-balancer.sh

注明:本文来自本人博客

                     

页: [1]
查看完整版本: hdfs服役新节点、退役旧节点