分享

HDFS Block Size是物理的还是逻辑的?

tb_dhu_hadoop 发表于 2014-5-13 14:00:46 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11149
如果把HDFS Block Size设置为128MB,一个文件的大小为120MB,那这个文件会占用1个还是2个物理的Block呢?

已有(3)人评论

跳转到指定楼层
pig2 发表于 2014-5-13 15:46:23
本帖最后由 pig2 于 2014-5-13 15:50 编辑
第一个问题:
是一个物理值,是hadoop存储的基本单位
第二个问题:
文件会占用1个物理的Block

可以看看下面,有助于理解:
hadoop深入研究:(六)——HDFS数据完整性

Hadoop-2.X中HDFS文件块block大小为什么增大默认为128M

同时还需要注意小文件:大量的小文件会把集群拖死,所以对于128,130之类的,这些都不适合hadoop.hadoop适合处理pb级别的数据
HDFS小文件处理及解决方案




回复

使用道具 举报

tb_dhu_hadoop 发表于 2014-5-13 16:35:24
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条