分享

MapReduce 如何一次统计多个指标

shanquan2006 发表于 2016-5-24 10:55:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 13071
有一海量大文件,格式每行一条记录,每条记录用”tab键”分隔,字段分别为 用户id、用户位置、访问URL。请写一个Map/Reduce程序,输出用户最多的10个位置,访问最多的100个URL,记录最多的1000个用户id。本人新手,请问能在一次MapReduce 中统计出来这几个指标吗?  换句话说,MR能一次统计多个指标吗? 求思路。

已有(6)人评论

跳转到指定楼层
NIITYZU 发表于 2016-5-24 11:06:31
试试Hive,Hive实现可能更好点,但是如果非要使用MapReduce的话,可能使用多个Mapper和Reducer来处理
回复

使用道具 举报

shanquan2006 发表于 2016-5-24 11:11:13
NIITYZU 发表于 2016-5-24 11:06
试试Hive,Hive实现可能更好点,但是如果非要使用MapReduce的话,可能使用多个Mapper和Reducer来处理

谢谢,一会试试。 另外,在一个Map中能不能实现呢?
回复

使用道具 举报

NIITYZU 发表于 2016-5-24 11:13:47
shanquan2006 发表于 2016-5-24 11:11
谢谢,一会试试。 另外,在一个Map中能不能实现呢?

估计不行,你可以试试,以前我只做过统计一个指标,需要一个Mapper和两个Reducr任务才完成的。
回复

使用道具 举报

einhep 发表于 2016-5-24 13:32:15
本帖最后由 einhep 于 2016-5-24 13:35 编辑

直接统计的话可能会费劲。可以通过排序。
第一次排序
第二次排序

楼主的思路是什么
回复

使用道具 举报

shanquan2006 发表于 2016-5-24 14:56:35
einhep 发表于 2016-5-24 13:32
直接统计的话可能会费劲。可以通过排序。
第一次排序
第二次排序

没有想到很好的思路
回复

使用道具 举报

魏航 发表于 2018-1-15 11:22:25
楼主后面是用什么方法来实现这个功能的?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条