about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 2474|回复: 3

两个均是HDFS HA集群间的数据拷贝问题

[复制链接]

5

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
373
发表于 2018-2-11 16:44:09 | 显示全部楼层 |阅读模式
背景描述:
目前存在2个集群:配置分辨为:   dfs.nameservices:myclouder1 , dfs.nameservices:myclouder2;
因为两个集群不在同一个机房中,现在需要两个集群间进行通信,即使用distcp 拷贝数据;
问题描述:
hadoop distcp hftp://myclouder1/tmp hdfs://myclouder2/tmp

此命令在myclouder1的namenode下执行,通过本地hadoop的配置defaultFS可以识别到myclouder1对应的ip主机,但是没有myclouder2的配置,要如何知道myclouder2对应的是哪些ip或主机呢?需进行哪些配置,望大神们指点迷经

备注:我已了解可以通过,指定机器的active状态的namenode节点,进行数据传输;但是是namenode的状态经常发生切换,比较不智能;

406

主题

127

听众

124

收听

实习版主

Rank: 7Rank: 7Rank: 7

积分
5235
发表于 2018-2-11 21:16:52 | 显示全部楼层

回帖奖励 +1

本帖最后由 sstutu 于 2018-2-11 21:42 编辑

在hosts里面,配置下myclouder2对应的ip地址。然后执行下命令试试。
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间
发表于 2018-2-11 21:40:22 | 显示全部楼层
那就需要修改配置了。
修改下hdfs-site.xml,例子如下
[XML] 纯文本查看 复制代码
<configuration>
  
  <!-- services -->
  <property>
    <name>dfs.nameservices</name>  
    <value>serviceId1,serviceId2</value>
  </property>
  
  <!-- serviceId2 properties --> 
  <property>   
    <name>dfs.client.failover.proxy.provider.nameservices2</name> 
    <value>org.apache.hadoop.hdfs.server  
               .namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property> 
  <property> 
    <name>dfs.ha.namenodes.serviceId2</name>    
    <value>nn201,nn202</value> 
  </property>
  <property> 
    <name>dfs.namenode.rpc-address.serviceId2.nn201</name> 
    <value>nn201.pro.net:8020</value>
  </property> 
  <property> 
    <name>dfs.namenode.servicerpc-address.serviceId2.nn201</name> 
    <value>nn201.pro.net:54321</value> 
  </property>
  <property>
    <name>dfs.namenode.http-address.serviceId2.nn201</name> 
    <value>nn201.pro.net:50070</value>
  </property>
  <property> 
    <name>dfs.namenode.https-address.serviceId2.nn201</name> 
    <value>nn201.prod.com:50470</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.serviceId2.nn202</name> 
    <value>nn202.pro.net:8020</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.serviceId2.nn202</name> 
    <value>nn202.pro.net:54321</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.serviceId2.nn202</name>
    <value>nn202.pro.net:50070</value>
  </property>
  <property> 
    <name>dfs.namenode.https-address.serviceId2.nn202</name>  
    <value>nn202.prod.net:50470</value>
  </property>

  <!—- serviceId1 -->
  <property>
    <name>dfs.client.failover.proxy.provider.nameservices1</name>     
      <value>org.apache.hadoop.hdfs.server.namenode.ha.          
                       ConfiguredFailoverProxyProvider</value> 
  </property> 
  <property> 
    <name>dfs.ha.namenodes.nameservices1</name> 
    <value>nn101,nn102</value>
  </property>
  <property>   
    <name>dfs.namenode.rpc-address.serviceId1.nn101</name> 
    <value>nn101.poc.net:8020</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.serviceId1.nn101</name>   
    <value>nn101.poc.net:54321</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.serviceId1.nn101</name> 
    <value>nn101.poc.net:50070</value>
  </property>
  <property> 
    <name>dfs.namenode.https-address.serviceId1.nn101</name> 
    <value>nn101.poc.net:50470</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.serviceId1.nn102</name>
    <value>nn102.poc.net:8020</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.serviceId1.nn102</name> 
    <value>nn102.poc.net:54321</value>
  </property>
  <property> 
    <name>dfs.namenode.http-address.serviceId1.nn102</name> 
     <value>nn102.poc.net:50070</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.serviceId1.nn102</name> 
    <value>nn102.poc.net:50470</value>
  </property>
  …  
</configuration>


发表于 2018-2-11 21:45:49 | 显示全部楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-11-18 18:16 , Processed in 0.373701 second(s), 29 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表