分享

flume的hdfs.minBlockReplicas参数的作用

shfshihuafeng 发表于 2017-3-26 16:44:58 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 14777
个人理解是hdfs.minBlockReplicas=1是存入hdfs的数据文件在hdfs的备份数,但是当我设置为1时,在hdfs查看备份数仍然为3.这为什么呢?

已有(4)人评论

跳转到指定楼层
zhongqi2513 发表于 2017-3-26 17:25:46
我猜这个应该是写入数据的时候,如果设置成1表,写入一个副本就算写入成功
回复

使用道具 举报

arsenduan 发表于 2017-3-26 18:19:43
hdfs.minBlockReplicas是为了让flume感知不到hdfs的块复制,这样滚动方式配置才不会受影响。
假如hdfs的副本为3.那么配置的滚动时间为10秒,那么在第二秒的时候,flume检测到hdfs在复制块,那么这时候flume就会滚动,这样导致flume的滚动方式受到影响。所以配置flume hdfs.minBlockReplicas配置为1,就检测不到副本的复制了。但是hdfs的副本还是3

回复

使用道具 举报

xuanxufeng 发表于 2017-3-26 18:26:40
推荐参考
flume 频繁产生小文件原因分析及解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21365


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条