分享

HDFS读文件时是否尽量保证本地读?

louisthy 发表于 2013-10-25 10:44:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 4852
首先,HDFS文件系统的读写接口对用户隐藏了数据块的实际物理位置。但是,当我调用接口读取文件时,给出文件中需要读取的数据的偏移地址,如果数据所在的块恰好在当前主机(即当前运行HDFS客户端的主机)上保存有一份,那么HDFS是否会尽量保证本地读取,而减少网络传输吗?
如果是,那么具体策略又是怎么样的吗?

已有(2)人评论

跳转到指定楼层
qz2003 发表于 2013-10-25 10:44:59
应该是尽量保证local 读取数据块的,不过这个跟taskscheduler的任务调度有关系吧 具体还得好好看看代码了
回复

使用道具 举报

jooli 发表于 2013-10-25 10:44:59
回复 2# MooNsKY
   多谢,我还是去看看源代码吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条