分享

hbase数据设置成擦除码后,数据大小异常 (

macWang 2021-3-16 09:25:45 发表于 方案探讨 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 2538
环境: Hadoop3.1.4 datanode*5
hbase2.2.6 regionserver*5
问题:
hadoop中原来的备份数为2
将/hbase/data/default目录设置擦除码RS-3-2-1024k之后,
疑问1: 数据量异常
在原来备份2的情况下,4.7K 对应一共占用 9.4K,但是设置擦除码后,反而一共占用14.1K.大数据量插入时,3.6M文件更是离谱的占用了8.8G
疑问2: 缺失块?
查看hbase数据目录文件的块信息时候,出现缺失块.但是查询什么的都是正常的,疑问1会不会跟这个有关?
Missing internal blocks:        2 (66.666664 %)
我在其他目录设置擦除码然后hdfs api上传文件时,查看块信息就正常,数据目录在hbase flush后就异常,很奇怪
疑问3: 查看hbase源码后,模仿flush使用hdfs api上传文件到其他设置了擦除码的文件, 占用量就正常,小于备份2的占用量
想解决:
如何这是hbase数据目录的擦除码使得hbase数据的占用量小于备份数为2时候的占用量,谢谢

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条