分享

话题讨论:Storm, Spark, Hadoop三个大数据处理工具的区别和联系

xioaxu790 发表于 2014-9-16 23:07:38 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 45702
本帖最后由 pig2 于 2014-9-16 23:31 编辑

     大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
      Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
      Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
      hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
      
但是,笔者还是有若干个疑问,即:
       1、大数据核心是什么?
       2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流,他们三者的区别和联系是什么?
       3、你觉得往后大数据的发展趋势如何?



已有(4)人评论

跳转到指定楼层
sstutu 发表于 2014-9-17 15:24:45

1、大数据核心是什么?
有三个方面:一是数据,没有数据扯啥都是白搭,二是技术,没有大数据的处理技术,那么数据也就只是一些磁盘,三是思想,有了数据和处理技术,还要有idea,也就是怎么让数据产生更大的价值?

2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
storm是实时处理,spark和hadoop是批处理,两者是互补。
而spark和hadoop比较的话,spark主要是充分利用内存计算并且支持更多的操作而不仅是map/reduce,这样有些迭代密集的算法执行效率会更高。而hadoop可能需要多个mr任务来完成。
在2.0之后,hadoop使用了新的yarn框架,map/reduce只是其中一种默许了,spark也可以在hadoop的yarn框架下运行的,所以2者还会是融合的。

3、你觉得今年大数据的发展趋势如何?
经过几年的酝酿应该会有更多的应用出现,除了互联网,在某些行业用户中也会有落地的成果。

回复

使用道具 举报

lovebyz 发表于 2014-9-17 14:45:18
spark~ 吧  功能多
回复

使用道具 举报

howtodown 发表于 2014-9-17 15:19:14
lovebyz 发表于 2014-9-17 14:45
spark~ 吧  功能多
spark弥补了hadoop的不足,各有各有的优势和用处。

Hadoop常用于离线的复杂的大数据处理
Spark常用于离线的快速的大数据处理
Storm常用于在线的实时的大数据处理



更多spark可以参考这个:
Spark集群计算的框架介绍【翻译】

回复

使用道具 举报

desehawk 发表于 2014-9-17 15:25:40
lovebyz 发表于 2014-9-17 14:45
spark~ 吧  功能多
  1、大数据核心是什么?
我觉得大数据的核心,首先是有其价值,如果数据量很大,而没有价值,那么大数据也就没什么特别了,所以大数据的最重要的就是我们能从大量数据中分析、挖掘出对组织有益的信息,当然了,到底有没有用,还得经过实际验证。

另外,就是速度得快,市场机会稍纵即逝,所以如果分析那么多数据,需要一个星期,或者一个月,那么可能意义也不大了。

  2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
其实这些只是表面不同的工具而已,本质上的思想是一致,我相信未来还会有更多的工具涌现出来,但思想确很难有所变化,比如,你要想快,那么从计算机的体系结构来看,就得多内存,而少硬盘,因为硬盘太慢了。

另外,从处理问题的角度也是一样的,通过采用更多的资源,以分布式的方式,来同时处理那么的数据,速度也肯定会快,当然前提是,不同机器之间交互通信的成本,低于由此带来的益处。

3、你觉得今年大数据的发展趋势如何?
更快、更高、更强。

不过也需要更加规范,这些个东西,A工具、B工具、C工具,我感觉有点像一个玩具,还不是一个成熟的产品,所以以后,可能会专门的公司来做商业化的软件,更加成熟的软件

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条