搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
HDFS
›
请教hadoop的副本分布问题。。。
0
6
0
分享
请教hadoop的副本分布问题。。。
datong838
发表于 2013-10-25 10:42:37
[显示全部楼层]
阅读模式
关闭右栏
6
5903
About云VIP帮助找工作和提升
想部署一个hadoop集群,有一部分机器在地方A,还有一部分机器在地方B,如何使得能从地方A上传的数据在地方B有至少一份数据副本吗?
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(6)人评论
电梯直达
正序浏览
shihailong123
发表于 2013-10-25 10:42:37
需要配置不同的机架:namenode在选择数据块的写入datanode列表时, 已经充分考虑到了将block副本分散在不同机架下.
http://developer.51cto.com/art/201006/204086.htm
回复
使用道具
举报
显身卡
when30
发表于 2013-10-25 10:42:37
topology.script.file.name不能达到lz的要求吧,第二个副本的rack是随机选择的。lz说的地方A、B是什么概念吗?Rack/DC吗?
回复
使用道具
举报
显身卡
lxs_huntingjob
发表于 2013-10-25 10:42:37
譬如有这样两个rack:A、B
rackA中有a1...an机器
rackB有b1...bm机器
如果写数据的client在rackA集群内,那么三个副本的放置策略会是:
client、bi,bj三台机器。 即:本机架一个副本、 跨机架两个副本
回复
使用道具
举报
显身卡
atsky123
发表于 2013-10-25 10:42:37
@iamashutong 可以达到,可以讲地点B的机架看做一个,在脚本中体现
回复
使用道具
举报
显身卡
atsky123
发表于 2013-10-25 10:42:37
回复
4#
piaoya
应该是本机架2个副本,另外机架1个副本
回复
使用道具
举报
显身卡
goldtimes
发表于 2013-10-25 10:42:37
回复
4#
piaoya
如果我一个datanode想把其本地文件系统上的一个文件上传到hdfs。该datanode可以直接在cmd里直接上传吗吗?还是需要ssh到namenode才行吗?
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
Hadoop大数据架构
Kylin资源
Nosql资源
Solr|Nutch|Lucene|ES
Java语言
发表新帖
datong838
中级会员
关注
48
主题
133
帖子
3
粉丝
TA的主题
C++ 调用webservice接口取天气预报信息
2013-12-17
CSS 与 HTML5 响应式图片
2013-12-17
破茧之后,易信怎样化蝶问题
2013-12-17
从Samples中入门IOS开发(一)------ XCode上手
2013-12-15
MapReduce为啥不适合做图计算
2013-10-26
24小时热文
国内大模型最新统计列表
程序员的底层思维
投资理财红宝书:精通基金、股票、国债等个
sqoop将SQLServer导入HBase的jar包
DataFunPro会员季刊电子版
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈