分享

Hadoop MapReduce, Spark Streaming, Storm三框架比较

tntzbzc 2015-5-25 18:49:49 发表于 心得体会 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 17897



比较项StormSpark StreamingHadoop MapReduce
架构TwitterUC Berkeley AMP labGoogle Lab
开源时间2011.9.162011.5.242007.9.4
当前版本0.9.41.3.12.7.0
入门资料Storm入门指南Spark Streaming实时计算框架介绍通过实例让你真正明白mapreduce---填空式、分布(分割)编程
依赖环境Zookeeper、Java、Pythonhadoop client、ScalaJava、ssh
技术语言Java、ClojureScalaJava
支持语言AnyScala、Java、PythonJava & Others
延时实时秒级较高
网络带宽一般一般一般
硬盘IO一般较少
集群支持超过1000节点数千个节点
吞吐量较好
使用公司淘宝、百度、Twitte、Groupon、雅虎Intel、腾讯、淘宝、中移动、GoogleEBay、Facebook、Google、IBM
适用场景实时的小数据块的分析计算较大数据块又需要高时效性的小批量计算低时效性的大批量计算


已有(2)人评论

跳转到指定楼层
x_ray_ok 发表于 2015-5-25 22:58:24
不错哦,谢谢总结汇总,参考学习一下
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条