移动HDFS数据

大家好，我有一个Cloudera 5.9.0管理的Hadoop集群，我想用一台新机器，替换掉旧机器。
旧机器上跑着HDFS DataNode，我需要怎么操作呢？谢谢！

几个节点，如果节点比较多的话，可以先删除一个节点，然后在添加一个节点，然后在数据rebalance 一下

添加和删除集群

所需角色：

Cloudera Manager 可管理多个集群。而且，这些集群不必运行相同版本的 CDH；可使用 Cloudera Manager 同时管理 CDH 4 和 CDH 5。

添加集群

操作	过程
新建主机	在主页上，单击 并选择添加集群。这会启动安装向导，就好像您第一次安装集群那样。（有关详细说明，请参阅 Cloudera Manager 部署。） 要查找新主机（您想在其中安装 CDH）而不是 Cloudera Manager 当前管理的主机，请输入主机名或 IP 地址，然后单击搜索。Cloudera Manager 列示您可用于配置新集群的主机。已安装服务的受管主机处于不可选状态。 单击继续以安装新集群。此时，安装将通过向导继续，就像它在您安装第一个集群时所做的那样。与以前一样，系统会要求您选择要安装的 CDH 的版本、您需要的服务等等。 重启“报告管理器”角色。
受管主机	有一些主机可能已处于“受管”状态但未包含在集群中。通过“添加主机”向导或在您未安装任何其他服务的主机上手动安装 Cloudera Manager Agent 时，可能有一些受管主机未包含在集群中。从主机移除所有服务以使其脱离集群时，也会这样。 在主页上，单击 并选择添加集群。这会启动安装向导，就好像您第一次安装集群那样。（有关详细说明，请参阅 Cloudera Manager 部署。） 要查看当前受管的主机的列表，请单击当前受管的主机选项卡。如果当前受管的主机都在集群中，那么不会显示此选项卡。 要执行安装，请单击继续。系统将尝试在 Cloudera Manager 管理的尚未包含在集群中的任何主机上进行安装，而不是搜索主机。系统将继续运行安装向导，就像安装新的集群那样。 重启“报告管理器”角色。

删除集群

• 停止集群。
• 在主页上，单击集群名称右侧的 ，然后选择删除。
  

nextuser 发表于 2016-12-1 19:12
几个节点，如果节点比较多的话，可以先删除一个节点，然后在添加一个节点，然后在数据rebalance 一下

rebalance的时候，不知道集群会把数据搬到哪里去。可以指定搬运到的机器吗？

zhuangmz 发表于 2016-12-1 19:33
rebalance的时候，不知道集群会把数据搬到哪里去。可以指定搬运到的机器吗？

不能指定，系统自动分配

nextuser 发表于 2016-12-1 19:37
不能指定，系统自动分配

1. rebalance的命令会运行很久，可以随时中止吗？会不会影响数据完整性？
2. 解除节点授权后，会报警“群集中有 101,875 个 副本不足的块。群集中共有 350,896 个块。百分比 副本不足的块: 29.03%。 警告阈值：10.00%”，解除授权，并没有把该节点的数据复制出来？怎么把副本不足的块，有什么命令复制补足呢？

einhep 发表于 2016-12-1 19:18
添加和删除集群所需角色：Cloudera Manager 可管理多个集群。而且，这些集群不必运行相同版本的 CDH； ...

你好，你这个是增加/删除集群吧？我想问的是替换hdfs DataNode。

zhuangmz 发表于 2016-12-1 23:17
你好，你这个是增加/删除集群吧？我想问的是替换hdfs DataNode。

建议，多了解下hadoop机制。
替换其实意义不大的，当然你可以替换。但是如果时间过长，系统会认为这个节点挂掉。然后可能会在将这个节点的数据复制到其它地方。

替换的方法，需要将datanode数据全部复制，并且配置和ip必须全部保持一致。
但是这个有风险，可能会造成集群产生问题

zhuangmz 发表于 2016-12-1 23:16
1. rebalance的命令会运行很久，可以随时中止吗？会不会影响数据完整性？
2. 解除节点授权后，会报警“ ...

1.最好不要终止

2.当某台机器上的一个DataNode进程down掉，HDFS为了保证文件的副本满足设定的副本数，会进行数据块的恢复操作。块恢复操作主要受两个参数影响：
a）dfs.namenode.replication.work.multiplier.per.iteration  NameNode计算集群每个周期每个DataNode平均恢复的数据块数量；如果该参数配置得太小，则dfs.namenode.replication.max-streams配置得再大没有用；

b）dfs.namenode.replication.max-streams单个DataNode最大同时恢复的块数量，可以间接控制DataNode恢复数据块的带来的网络等压力；
   同时，数据块恢复与文件系统读写文件一样，不会受限制移动数据块参数的限制，该参数做balance的时候才起作用：
          hdfs  dfsadmin -setBalancerBandwidth 62914563
更多参考
http://www.aboutyun.com/thread-9349-1-1.html

starrycheng 发表于 2016-12-2 16:30
1.最好不要终止

2.当某台机器上的一个DataNode进程down掉，HDFS为了保证文件的副本满足设定的副本数， ...

OK. 谢谢！