30秒了解hadoop与storm之间关系

wscl1213 · 发表于 2016-1-11 17:29:38

zou79189747 发表于 2016-1-11 17:08
Storm Tuple的大小有限制吗

仅供参考，不是绝对的
storm单条流水线的处理能力大约为20000 tupe/s, (每个tuple大小为1000字节)
来源：

storm性能测试报告
http://www.aboutyun.com/thread-8680-1-1.html

zou79189747 · 发表于 2016-1-12 11:43:24

wscl1213 发表于 2016-1-11 17:29
仅供参考，不是绝对的
storm单条流水线的处理能力大约为20000 tupe/s, (每个tuple大小为1000字节)
来源 ...

这个我网上看到有说过，我想知道的是在Storm中发射的每个Tuple的大小有没有限制？
假如我一条消息特别长，大小约50M。这样在Storm中还能支持吗？

atsky123 · 发表于 2016-1-12 11:46:58

zou79189747 发表于 2016-1-12 11:43
这个我网上看到有说过，我想知道的是在Storm中发射的每个Tuple的大小有没有限制？
假如我一条消息特 ...

这么长，一般不会，否则就不是流式数据了。

zou79189747 · 发表于 2016-1-12 14:39:39

atsky123 发表于 2016-1-12 11:46
这么长，一般不会，否则就不是流式数据了。

现在就是有这么一个需求，合不合适另说，我想先知道能不能实现接收这么大消息。
这个需要向领导解释为什么不行，自己对Storm理解不够，网上也找不到这方面的资料，关键我还不能再Storm模块发帖。。

wscl1213 · 发表于 2016-1-12 19:00:21

zou79189747 发表于 2016-1-12 14:39
现在就是有这么一个需求，合不合适另说，我想先知道能不能实现接收这么大消息。
这个需要向领导解释为什 ...

这是会员发帖区
http://www.aboutyun.com/forum-172-1.html

wscl1213 · 发表于 2016-1-12 19:21:33

本帖最后由 wscl1213 于 2016-1-12 19:29 编辑

zou79189747 发表于 2016-1-12 14:39
现在就是有这么一个需求，合不合适另说，我想先知道能不能实现接收这么大消息。
这个需要向领导解释为什 ...

我们首先来看tuple的本质是什么？然后在来看的他最大限制：

##############################################

storm使用tuple来作为它的数据模型。每个tuple是一堆值，每个值有一个名字，并且每个值可以是任何类型，在我的理解里面一个tuple可以看作一个没有方法的java对象。总体来看，storm支持所有的基本类型、字符串以及字节数组作为tuple的值类型。你也可以使用你自己定义的类型来作为值类型，只要你实现对应的序列化器(serializer)。

一个Tuple代表数据流中的一个基本的处理单元，例如一条cookie日志，它可以包含多个Field，每个Field表示一个属性。

Tuple本来应该是一个Key-Value的Map，由于各个组件间传递的tuple的字段名称已经事先定义好了，所以Tuple只需要按序填入各个Value，所以就是一个Value List。

一个没有边界的、源源不断的、连续的Tuple序列就组成了Stream。

#####################################################

tuple是什么？它的数据类型是由我们来定义的。那么它可以是基本类型、字符串以及字节数组作等。

这时候就好办，那么基本类型、字符串以及字节数组 有大小限制吗？字符串可以是50M，数组可以是50M吗？这就是我们的数据结构是否扎实了。只要你的内存足够，字符串可以是50M，如果你的内存100G，你的tuple 理论上50G都没有关系。如果你的内存只有1G，但是你的字符串最多几K，因为可能还有其它运行的程序，所以上面只是理论，楼主可以自己在亲自测试下

67929411@qq.com · 发表于 2016-1-17 23:43:10

[root@myhadoop02 bin]# ./storm supervisor
Running: /home/hadoop/jdk/bin/java -server -Dstorm.options= -Dstorm.home=/home/hadoop/storm -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/hadoop/storm/lib/servlet-api-2.5.jar:/home/hadoop/storm/lib/ring-servlet-0.3.11.jar:/home/hadoop/storm/lib/slf4j-api-1.6.5.jar:/home/hadoop/storm/lib/httpclient-4.3.3.jar:/home/hadoop/storm/lib/snakeyaml-1.11.jar:/home/hadoop/storm/lib/commons-io-2.4.jar:/home/hadoop/storm/lib/commons-logging-1.1.3.jar:/home/hadoop/storm/lib/clout-1.0.1.jar:/home/hadoop/storm/lib/jline-2.11.jar:/home/hadoop/storm/lib/objenesis-1.2.jar:/home/hadoop/storm/lib/jgrapht-core-0.9.0.jar:/home/hadoop/storm/lib/ring-jetty-adapter-0.3.11.jar:/home/hadoop/storm/lib/json-simple-1.1.jar:/home/hadoop/storm/lib/tools.cli-0.2.4.jar:/home/hadoop/storm/lib/netty-3.6.3.Final.jar:/home/hadoop/storm/lib/log4j-over-slf4j-1.6.6.jar:/home/hadoop/storm/lib/logback-classic-1.0.6.jar:/home/hadoop/storm/lib/httpcore-4.3.2.jar:/home/hadoop/storm/lib/reflectasm-1.07-shaded.jar:/home/hadoop/storm/lib/commons-exec-1.1.jar:/home/hadoop/storm/lib/chill-java-0.3.5.jar:/home/hadoop/storm/lib/asm-4.0.jar:/home/hadoop/storm/lib/zookeeper-3.4.5.jar:/home/hadoop/storm/lib/joda-time-2.0.jar:/home/hadoop/storm/lib/carbonite-1.4.0.jar:/home/hadoop/storm/lib/disruptor-2.10.1.jar:/home/hadoop/storm/lib/clojure-1.5.1.jar:/home/hadoop/storm/lib/servlet-api-2.5-20081211.jar:/home/hadoop/storm/lib/curator-framework-2.4.0.jar:/home/hadoop/storm/lib/ring-core-1.1.5.jar:/home/hadoop/storm/lib/clj-time-0.4.1.jar:/home/hadoop/storm/lib/compojure-1.1.3.jar:/home/hadoop/storm/lib/minlog-1.2.jar:/home/hadoop/storm/lib/logback-core-1.0.6.jar:/home/hadoop/storm/lib/jetty-6.1.26.jar:/home/hadoop/storm/lib/curator-client-2.4.0.jar:/home/hadoop/storm/lib/kryo-2.21.jar:/home/hadoop/storm/lib/guava-13.0.jar:/home/hadoop/storm/lib/tools.macro-0.1.0.jar:/home/hadoop/storm/lib/netty-3.2.2.Final.jar:/home/hadoop/storm/lib/commons-lang-2.5.jar:/home/hadoop/storm/lib/core.incubator-0.1.0.jar:/home/hadoop/storm/lib/commons-fileupload-1.2.1.jar:/home/hadoop/storm/lib/commons-codec-1.6.jar:/home/hadoop/storm/lib/hiccup-0.3.6.jar:/home/hadoop/storm/lib/ring-devel-0.3.11.jar:/home/hadoop/storm/lib/tools.logging-0.2.3.jar:/home/hadoop/storm/lib/storm-core-0.9.2-incubating.jar:/home/hadoop/storm/lib/jetty-util-6.1.26.jar:/home/hadoop/storm/lib/math.numeric-tower-0.0.1.jar:/home/hadoop/storm/lib/clj-stacktrace-0.2.4.jar:/home/hadoop/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlogback.configurationFile=/home/hadoop/storm/logback/cluster.xml backtype.storm.daemon.supervisor
kill 2062: 没有那个进程
kill 2066: 没有那个进程
kill 2064: 没有那个进程
kill 2068: 没有那个进程
请问这个错误是什么？