分享

记录的主数据块是什么意思

dgxl 发表于 2013-10-25 10:42:39 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 4512
在《hadoop in action》中看到这么一段话"输入分片是一种逻辑划分,而HDFS数据块是对数据的物理划分。当他们一致时,效率会非常高,但在实际应用中从未达到完全一致。记录可能会跨过数据块的边界。Hadoop确保全部记录都被处理。处理特定分片的计算节点会从一个数据块中获取记录的一个片段,该数据块可能不是该记录的“主”数据块,而会存放在远端。为获取一个记录片段所需的通信成本是微不足道的,因为相对而言很少发生!"
       我想求问一下,是不是一条记录是不是有可能有不同的部分存放在不同的blocks中!

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条