分享

hadoop2.4.1 QJM ha集群namenode的edits log文件清除问题,求大神帮忙看看

supertianxiang 发表于 2015-8-7 10:49:04 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 12 25968
   一,如题,日志文件不会自动清楚,但是重启namenode会清除。
-rw-rw-r-- 1 hadoop hadoop    20940 8月   7 09:11 edits_0000000000003624111-0000000000003624275
-rw-rw-r-- 1 hadoop hadoop    44564 8月   7 09:13 edits_0000000000003624276-0000000000003624597
-rw-rw-r-- 1 hadoop hadoop    28726 8月   7 09:15 edits_0000000000003624598-0000000000003624802
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:17 edits_0000000000003624803-0000000000003624804
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:19 edits_0000000000003624805-0000000000003624806
-rw-rw-r-- 1 hadoop hadoop    20922 8月   7 09:21 edits_0000000000003624807-0000000000003624971
-rw-rw-r-- 1 hadoop hadoop    44871 8月   7 09:23 edits_0000000000003624972-0000000000003625297
-rw-rw-r-- 1 hadoop hadoop    28398 8月   7 09:25 edits_0000000000003625298-0000000000003625498
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:27 edits_0000000000003625499-0000000000003625500
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:29 edits_0000000000003625501-0000000000003625502
-rw-rw-r-- 1 hadoop hadoop    21269 8月   7 09:31 edits_0000000000003625503-0000000000003625671
-rw-rw-r-- 1 hadoop hadoop    51149 8月   7 09:33 edits_0000000000003625672-0000000000003626032
-rw-rw-r-- 1 hadoop hadoop    24406 8月   7 09:35 edits_0000000000003626033-0000000000003626210
-rw-rw-r-- 1 hadoop hadoop     2142 8月   7 09:37 edits_0000000000003626211-0000000000003626226
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:39 edits_0000000000003626227-0000000000003626228
-rw-rw-r-- 1 hadoop hadoop    21816 8月   7 09:41 edits_0000000000003626229-0000000000003626400
-rw-rw-r-- 1 hadoop hadoop    51436 8月   7 09:43 edits_0000000000003626401-0000000000003626767
-rw-rw-r-- 1 hadoop hadoop    21132 8月   7 09:45 edits_0000000000003626768-0000000000003626922
-rw-rw-r-- 1 hadoop hadoop      170 8月   7 09:47 edits_0000000000003626923-0000000000003626925
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:49 edits_0000000000003626926-0000000000003626927
-rw-rw-r-- 1 hadoop hadoop    28336 8月   7 09:51 edits_0000000000003626928-0000000000003627141
-rw-rw-r-- 1 hadoop hadoop    47116 8月   7 09:53 edits_0000000000003627142-0000000000003627485
-rw-rw-r-- 1 hadoop hadoop    18770 8月   7 09:55 edits_0000000000003627486-0000000000003627619
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:57 edits_0000000000003627620-0000000000003627621
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 09:59 edits_0000000000003627622-0000000000003627623
-rw-rw-r-- 1 hadoop hadoop    30794 8月   7 10:01 edits_0000000000003627624-0000000000003627859
-rw-rw-r-- 1 hadoop hadoop    45879 8月   7 10:03 edits_0000000000003627860-0000000000003628190
-rw-rw-r-- 1 hadoop hadoop    17558 8月   7 10:05 edits_0000000000003628191-0000000000003628315
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:07 edits_0000000000003628316-0000000000003628317
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:09 edits_0000000000003628318-0000000000003628319
-rw-rw-r-- 1 hadoop hadoop    27739 8月   7 10:11 edits_0000000000003628320-0000000000003628527
-rw-rw-r-- 1 hadoop hadoop    47692 8月   7 10:13 edits_0000000000003628528-0000000000003628877
-rw-rw-r-- 1 hadoop hadoop    18778 8月   7 10:15 edits_0000000000003628878-0000000000003629011
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:17 edits_0000000000003629012-0000000000003629013
-rw-rw-r-- 1 hadoop hadoop     7489 8月   7 10:19 edits_0000000000003629014-0000000000003629057
-rw-rw-r-- 1 hadoop hadoop    30756 8月   7 10:21 edits_0000000000003629058-0000000000003629293
-rw-rw-r-- 1 hadoop hadoop    46540 8月   7 10:23 edits_0000000000003629294-0000000000003629628
-rw-rw-r-- 1 hadoop hadoop    18624 8月   7 10:25 edits_0000000000003629629-0000000000003629761
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:27 edits_0000000000003629762-0000000000003629763
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:29 edits_0000000000003629764-0000000000003629765
-rw-rw-r-- 1 hadoop hadoop    27721 8月   7 10:31 edits_0000000000003629766-0000000000003629973
-rw-rw-r-- 1 hadoop hadoop    38090 8月   7 10:33 edits_0000000000003629974-0000000000003630256
-rw-rw-r-- 1 hadoop hadoop    32200 8月   7 10:35 edits_0000000000003630257-0000000000003630481
-rw-rw-r-- 1 hadoop hadoop      898 8月   7 10:37 edits_0000000000003630482-0000000000003630489
-rw-rw-r-- 1 hadoop hadoop       42 8月   7 10:39 edits_0000000000003630490-0000000000003630491
-rw-rw-r-- 1 hadoop hadoop  1048576 8月   7 10:40 edits_inprogress_0000000000003630492
-rw-rw-r-- 1 hadoop hadoop 16033274 8月   7 09:33 fsimage_0000000000003626032
-rw-rw-r-- 1 hadoop hadoop       62 8月   7 09:33 fsimage_0000000000003626032.md5
-rw-rw-r-- 1 hadoop hadoop 16058455 8月   7 10:33 fsimage_0000000000003629973
-rw-rw-r-- 1 hadoop hadoop       62 8月   7 10:33 fsimage_0000000000003629973.md5
-rw-rw-r-- 1 hadoop hadoop        8 8月   7 10:39 seen_txid
-rw-rw-r-- 1 hadoop hadoop      205 8月   6 10:02 VERSION
二,已做如下的配置
136      <property>
137          <name>dfs.namenode.checkpoint.period</name>
138          <value>3600</value>
139          <description>The number of seconds between two periodic checkpoints</description>
140      </property>
141      <property>
142          <name>dfs.namenode.checkpoint.check.period</name>
143          <value>60</value>
144          <description>The SecondaryNameNode and CheckpointNode will poll the NameNod every 'dfs.namenode.checkpoint.check.period' seconds to query the nu
    mber of uncheckpointed transactions
145          </description>                                                                                                                                 
146      </property>
三,根据打印信息,可以看出在standby的namenode上3600S一次合并操作,没有发现异常,
求解决,感谢



已有(12)人评论

跳转到指定楼层
jixianqiuxue 发表于 2015-8-7 11:03:48

hdfs-site.xml:
<property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/aboutyun123/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/home/aboutyun123/dfs/data</value>
       </property>

楼主列一下上面的配置

回复

使用道具 举报

supertianxiang 发表于 2015-8-7 11:06:36
jixianqiuxue 发表于 2015-8-7 11:03
hdfs-site.xml:

             dfs.namenode.name.dir

20     <property>
21         <name>dfs.datanode.data.dir</name>
22         <value>/export/distributed/hadoop/dfs/data</value>
23     </property>
24     
25     <property>
26         <name>dfs.namenode.name.dir</name>
27         <value>/export/distributed/hadoop/dfs/name</value>
28     </property>
         难道是因为没有加file://  么?
回复

使用道具 举报

NEOGX 发表于 2015-8-7 11:07:03
日志,还是元数据文件?
日志是log,元数据文件是edits
回复

使用道具 举报

supertianxiang 发表于 2015-8-7 11:18:50
NEOGX 发表于 2015-8-7 11:07
日志,还是元数据文件?
日志是log,元数据文件是edits

不好意思,让您误解了,是edits
回复

使用道具 举报

NEOGX 发表于 2015-8-7 11:19:54
supertianxiang 发表于 2015-8-7 11:06
20     
21         dfs.datanode.data.dir
22         /export/distributed/hadoop/dfs/data

file代表是Linux文件,非hdfs文件
回复

使用道具 举报

supertianxiang 发表于 2015-8-7 11:21:33
NEOGX 发表于 2015-8-7 11:19
file代表是Linux文件,非hdfs文件

您的意思是加上file就解决了是么?
回复

使用道具 举报

bob007 发表于 2015-8-7 11:31:16
NEOGX 发表于 2015-8-7 11:07
日志,还是元数据文件?
日志是log,元数据文件是edits



楼主能详细说一下吗?
这个edit log是那台机器的,配置文件又在什么地方。
是否做过修改。
查看是否变化是journal node的还是namenode的
回复

使用道具 举报

supertianxiang 发表于 2015-8-7 11:40:55
bob007 发表于 2015-8-7 11:31
楼主能详细说一下吗?
这个edit log是那台机器的,配置文件又在什么地方。
是否做过修改。


你好!

楼主能详细说一下吗?
这个edit log是那台机器的,配置文件又在什么地方。-------edits在active namenode下面,配置在hdfs_site.xml
是否做过修改。                                                 。---------配置文件的修改都在hdfs_site.xml里面
20     <property>
21         <name>dfs.datanode.data.dir</name>
22         <value>/export/distributed/hadoop/dfs/data</value>
23     </property>
24     
25     <property>
26         <name>dfs.namenode.name.dir</name>
27         <value>/export/distributed/hadoop/dfs/name</value>
28     </property>


73     <property>
74         <name>dfs.journalnode.edits.dir</name>
75         <value>/export/distributed/hadoop/dfs/journalnode</value>
76     </property>

136      <property>
137          <name>dfs.namenode.checkpoint.period</name>
138          <value>3600</value>
139          <description>The number of seconds between two periodic checkpoints</description>
140      </property>
141      <property>
142          <name>dfs.namenode.checkpoint.check.period</name>
143          <value>60</value>
144          <description>The SecondaryNameNode and CheckpointNode will poll the NameNod every 'dfs.namenode.checkpoint.check.period' seconds to query the nu
    mber of uncheckpointed transactions
145          </description>
146      </property>

查看是否变化是journal node的还是namenode的   -----------查看变化是在standby namenode上面看一直在合并,也都同步到了activenode,功能都正常,就是active namenode合并点之前的edits不会删除
回复

使用道具 举报

bob007 发表于 2015-8-7 13:39:23
supertianxiang 发表于 2015-8-7 11:40
你好!

楼主能详细说一下吗?

合并应该是journal node,另外两个同步就可以了吧

回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条