分享

求助namenode的edits日志文件无限增长怎么回事

jsh0401 发表于 2014-12-16 17:13:34 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 17522
hadoop 的 ha 环境 ,我重新格式化了测试,我没做任何操作,为啥每隔2分钟就会 生成一个 edits段文件, 好像standby namnode合并了fsimage,fsimage版本越来越高,为什么edits文件还存在,没有被删掉 ,每隔2分钟多一个,是要手工删掉吗?日积月累,不是要超过linux最大文件限制?
各位你们环境是什么样子的啊,edits文件会无限增长吗,我的环境为什么2分钟多一个,是环境问题还是本来就这样?????

1.jpg

2.jpg


3.jpg


已有(3)人评论

跳转到指定楼层
jsh0401 发表于 2014-12-16 17:18:01
我设置了一分钟合并一次,,,standbynamnode日志里能看到他在合并,见图3,,可是为什么edits文件一直不删除呢
回复

使用道具 举报

Joker 发表于 2014-12-16 17:58:43

a、配置好HA后,客户端所有的更新操作将会写到JournalNodes节点的共享目录中,可以通过配置

  1. <property>
  2. <name>dfs.namenode.shared.edits.dir</name>
  3. <value>qjournal://XXXX/mycluster</value>
  4. </property>
  5. <property>
  6. <name>dfs.journalnode.edits.dir</name>
  7. <value>/export1/hadoop2x/dfs/journal</value>
  8. </property>
复制代码


b、Active Namenode和Standby NameNode从JournalNodes的edits共享目录中同步edits到自己edits目录中;
c、Standby NameNode中的StandbyCheckpointer类会定期的检查合并的条件是否成立,如果成立会合并fsimage和edits文件;
d、Standby NameNode中的StandbyCheckpointer类合并完之后,将合并之后的fsimage上传到Active NameNode相应目录中;
e、Active NameNode接到最新的fsimage文件之后,将旧的fsimage和edits文件清理掉;
f、通过上面的几步,fsimage和edits文件就完成了合并,由于HA机制,会使得Standby NameNode和Active NameNode都拥有最新的fsimage和edits文件。
回复

使用道具 举报

bioger_hit 发表于 2014-12-16 18:01:10
jsh0401 发表于 2014-12-16 17:18
我设置了一分钟合并一次,,,standbynamnode日志里能看到他在合并,见图3,,可是为什么edits文件一直不删 ...


肯定会删除,我们需要搞清楚的是,什么情况下删除
当fsimage和edits的合并完成之后,它会把合并后的fsimage上传到Active NameNode节点上,Active NameNode节点下载完合并后的fsimage,再将旧的fsimage删掉(Active NameNode上的)同时清除旧的edits文件。

所以先看看Active NameNode是否已经有fsimage,如果没有,删除不掉,这是很自然的事情。


如果已经有了,但是未删除,说明楼主的配置有问题。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条