优酷土豆用Spark完善大数据分析

查看数: 39100 | 评论数: 4 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-2-9 23:34

正文摘要:

可以带着下面问题来阅读本文章:1.优酷土豆遇到什么问题,采用Spark 大数据,一个似乎已经被媒体传播的过于泛滥的词汇,的的确确又在逐渐影响和改变着我们的生活。也许有人认为大数据在中国仍然只是噱头,但在当前中 ...

回复

xcl5918 发表于 2015-8-31 11:56:19
恩,值得借鉴,已借鉴!
ymhua 发表于 2015-8-6 10:55:12
讲的很详细,让人思考很多啊!
junzi234 发表于 2014-6-11 12:41:47
大公司架构值得参考
admin 发表于 2014-2-9 23:35:40
参考:
面对复杂任务、交互式查询以及流在线处理时,Hadoop与MapReduce并不适用。Spark/Shark这种内存型计算框架则比较适合各种迭代算法和交互式数据分析,可每次将弹性分布式数据集(RDD)操作之后的结果存入内存中,下次操作可直接从内存中读取,省去了大量的磁盘IO,效率也随之大幅提升。优酷土豆集团大数据团队大数据平台架构师傅杰表示:“一些应用场景并不适合在MapReduce里面去处理。通过对比,我们发现Spark性能比MapReduce提升很多。”
关闭

推荐上一条 /2 下一条