分享

HDFS容灾备份问题

jooli 发表于 2013-10-25 10:44:56 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 12932
最近hadoop的应该刚刚接入原有的应用生态系统,并发现服务的硬盘很容易坏掉。由于目前hadoop的任务和处理的数据量暂时没有那么多大,所以只有两台机器,一个是 master,另一个是slaves。
目前的配置是两台机器都充当secondary 和 datanode,  hdfs-stie.xml 配置是 :
  
    dfs.name.dir
    /data/hadoopdata/tmp/fs/name
  
  
    dfs.data.dir
    /data/hadoopdata/tmp/fs/data
  
  
    fs.checkpoint.dir
    /data/hadoopdata/tmp/fs/namesecondary,/data/hadoopdata/tmp/fs/namesecondary-backup
  
  
    dfs.replication
    2
  
  
    dfs.http.address
    master:50070
  
secondary 是可以备份到两台机器,master有全部的元数据,而slaves 大概有65%。
但是在应用当中硬盘坏了,很担心万一master的硬盘坏了,就不能恢复所有的数据了,我想请教一下,如何能把元数据完整的让hadoop自动备份指定的机器上吗?
谢谢!

已有(3)人评论

跳转到指定楼层
a2325145 发表于 2013-10-25 10:44:56
如果你用的是hadoop 0.20.2,对于secondaytnamenode有这篇文章可以看看
http://blog.csdn.net/dajuezhao/archive/2010/11/04/5987580.aspx
回复

使用道具 举报

louisthy 发表于 2013-10-25 10:44:56
补充,也 就 是 两台机器 ,master挂掉了 ,miss的不但有 元数据还有块数据
回复

使用道具 举报

mexiang 发表于 2013-10-25 10:44:56
回一个,应该算搞定了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条