分享

关于hadoop任务划分

xrythy 发表于 2016-12-23 10:51:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 6257
初学hadoop,一个问题是自己写好mapper和reduce之后,关于任务划分,如果是一个集群,可以自动划分么?还是要编写划分的实现

已有(2)人评论

跳转到指定楼层
yjia0 发表于 2016-12-23 13:45:40
给力,我的哥
回复

使用道具 举报

nextuser 发表于 2016-12-23 14:10:14

这个问题有点模糊。
首先map代码,reduce代码使我们来实现的。
至于任务划分是指什么?需要具体指明。
map任务的作用是起到分割的作用
reduce起到汇总统计的作用。
当然这些不是必须的,也可以只有map任务。
对于任务个数的划分,则是需要通过配置来实现。
对于哪台机器跑哪个任务,则是根据自己的配置,由master来分配
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条