最近hadoop的应该刚刚接入原有的应用生态系统,并发现服务的硬盘很容易坏掉。由于目前hadoop的任务和处理的数据量暂时没有那么多大,所以只有两台机器,一个是 master,另一个是slaves。
目前的配置是两台机器都充当secondary 和 datanode, hdfs-stie.xml 配置是 :
dfs.name.dir
/data/hadoopdata/tmp/fs/name
dfs.data.dir
/data/hadoopdata/tmp/fs/data
fs.checkpoint.dir
/data/hadoopdata/tmp/fs/namesecondary,/data/hadoopdata/tmp/fs/namesecondary-backup
dfs.replication
2
dfs.http.address
master:50070
secondary 是可以备份到两台机器,master有全部的元数据,而slaves 大概有65%。
但是在应用当中硬盘坏了,很担心万一master的硬盘坏了,就不能恢复所有的数据了,我想请教一下,如何能把元数据完整的让hadoop自动备份指定的机器上吗?
谢谢! |