分享

MapReduce有哪些应用场景问题

kaif22 发表于 2013-10-26 15:15:44 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 8 28109
请问各位,MapReduce的典型应用场景是啥吗?除了wordcount、grep那些例子程序,有哪些典型的可以用MapReduce解决吗?比如说科学计算方面的吗?

已有(8)人评论

跳转到指定楼层
a2325145 发表于 2013-10-26 15:15:44
目前日志剖析用的比较多,还有做搜素的索引,机器研究算法包mahout也是之一,当然它能做的东西还有很多。
你可以看看下面这本材料,专门用MapReduce来做数据挖掘、信息提取的。
http://bbs.hadoopor.com/thread-970-1-1.html
回复

使用道具 举报

oYaoXiang1 发表于 2013-10-26 15:15:44
回复 2# spork
    好的,谢谢。
    请问有没有啥典型在用mapreduce解决时会产生reduce tasks负载不平衡的呢吗?
回复

使用道具 举报

skaterxu 发表于 2013-10-26 15:15:44
key分布不均匀,这是一个很典型的会造成redue tasks负载不平衡的。
你可以看看下面这个帖子:
http://bbs.hadoopor.com/thread-193-1-1.html
回复

使用道具 举报

einhep 发表于 2013-10-26 15:15:44
回复 4# spork
嗯  这个是存在的,但是与具体的应用很相关,我想问是否有某种典型应用在用mapreduce处理时存在这个吗?
回复

使用道具 举报

louisthy 发表于 2013-10-26 15:15:44
举个例子哈,比如你做了一个在线听歌的网站,你其中有一项业务就是要统计每一首歌的点播情况及对应用户的信息,这时候肯定是有一些歌很热,点的人多,一些歌很冷,点的人少。那就会造成reduce tasks的不均衡情况(某些tasks要处理比较多的用户信息,一些tasks则很少)。
回复

使用道具 举报

wscl1213 发表于 2013-10-26 15:15:44
回复 6# spork
    这个例子是挺好的诶~呵呵
回复

使用道具 举报

xukunddp 发表于 2013-10-26 15:15:44
回复 6# spork
    不过请问,这个应用不一定要用mapreduce来处理的吧吗?为达到统计的效果,直接修改数据库不就行了么吗?呵呵
回复

使用道具 举报

a2325145 发表于 2013-10-26 15:15:44
MapReduce本来就是用笨方法做事,靠“人多欺负人少”,不要为了用MR而用它,根据业务和数据量来,上面那个只是举个例子。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条