分享

hadoop的Block三成员介绍blockId,numBytes和generationStamp

pig2 2014-1-20 22:30:57 发表于 小知识点 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 13920
先来看一下Block类,它含 有三个成员:blockId,numBytes和generationStamp。下面介绍一下它们分别得含义:
一、numBytes即block的大小。

二、blockId是block的标识符,可以从block文件名中看到,例如${hadoop.tmp.dir}/dfs/data/current /blk_826540629399449945,这一串数字就是blockId。


三、同目录下另一个meta文件,如 blk_826540629399449945_1017.meta,1017即是generationStamp。从Block类本身可以看 到,generationStamp在compare、equals等操作上起到一个对blockId的辅助作用,由此猜测多个blocks可能拥有相同 的blockId,彼此的generationStamp不同。





没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条