分享

在Hadoop2.X中如果不做HA,NN挂机集群还可以正常运行

Joker 发表于 2015-4-2 16:41:53 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 20383
接触Hadoop的时候是2.x开始的,虽然现在2.x可以做Hadoop HA,但以前Hadoop 1.x中没有HA这样的机制
是如何保证NN挂机,集群还可以正常运行?

有朋友知道吗?

已有(7)人评论

跳转到指定楼层
sstutu 发表于 2015-4-2 16:52:26
hadoop1.x通过secondary namenode来完成。
不过时间恢复需要时间,而且可能存在丢失数据的现象
回复

使用道具 举报

sstutu 发表于 2015-4-2 17:08:48




Secondary  NameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个Secondary  NameNode,并且部署在一个单独的服务器上。Secondary  NameNode不同于NameNode,它不接受或者记录任何实时的数据变化,但是,它会与NameNode进行通信,以便定期地保存HDFS元数据的 快照。由于NameNode是单点的,通过Secondary  NameNode的快照功能,可以将NameNode的宕机时间和数据损失降低到最小。同时,如果NameNode发生问题,Secondary  NameNode可以及时地作为备用NameNode使用。
来自:
hadoop详细了解5个进程的作用
回复

使用道具 举报

Joker 发表于 2015-4-2 19:22:14
sstutu 发表于 2015-4-2 17:08
Secondary  NameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...

额,我当时也是说使用Secondary  NameNode来完成,但是同事说不对。也没给个答案,特来提问,谢谢了
回复

使用道具 举报

Joker 发表于 2015-4-2 19:25:09
sstutu 发表于 2015-4-2 17:08
Secondary  NameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...

那么,在不把NN服务器的问题解决,通过Secondary  NameNode来当做备用的NN,集群服务还是正常的(不考虑数据丢失)?
回复

使用道具 举报

arsenduan 发表于 2015-4-2 19:43:23
Joker 发表于 2015-4-2 19:25
那么,在不把NN服务器的问题解决,通过Secondary  NameNode来当做备用的NN,集群服务还是正常的(不考虑 ...

Secondary  NameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1.x的namenode,实时的备份一份。
这个在没有产生hadoop的时候,就已经有这种冗余的方案了。相当于完全复制
回复

使用道具 举报

Joker 发表于 2015-4-2 20:39:37
arsenduan 发表于 2015-4-2 19:43
Secondary  NameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1 ...

请教一下双机热备如何实现?可以说一下大概吗?
回复

使用道具 举报

howtodown 发表于 2015-4-2 21:26:25
Joker 发表于 2015-4-2 20:39
请教一下双机热备如何实现?可以说一下大概吗?

双机热备
主-备方式(Active-Standby方式)和双主机方式(Active-Active方式),主-备方式即指的是一台服务器处于某种业务的激活状态(即Active状态),另一台服务器处于该业务的备用状态(即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态(即Active-Standby和Standby-Active状态)。
详细参考下面:
Hadoop 双机热备-AvatarNode部署

hadoop双机热备方案
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条