分享

mapreduce计算

jingfengvae 发表于 2015-8-15 21:10:21 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 9097
   对于一定的数据量,是不是Hadoop集群的规模越大,Mapreduce的计算时间越快呀??

已有(3)人评论

跳转到指定楼层
xuanxufeng 发表于 2015-8-15 21:35:16
这个不能笼统的话,机器多是快的因素之一。
还有很多其它,比如机器挺多的,但是mapreduce只在一台机器上,这肯定慢了。

回复

使用道具 举报

levycui 发表于 2015-8-16 13:07:03
正常情况下是这样的
回复

使用道具 举报

evababy 发表于 2015-8-25 10:17:18
效率的高低有很多影响因素
1、机器的性能,处理每块数据的速度,由于数据块多,单台机器可能同时处理多个数据块。
2、数据块的分布,如果集群中只有一个数据块那么再多的机器也是无用的。
3、计算过程的优化,减少数据的读取、传输次数尤为重要。
……
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条