storm + kafka问题请教

用Storm搭设了个平台，通过KafkaSpout从kafka读取消息，但现在遇到如下问题：
1. 如果kafka消息层的消息产生速度保持在每分钟 2000--4000条，那么storm平台的处理正常
2. 如果kafka消息层的消息产生速度保持在每分钟 >4000条，那么storm平台的会来不及处理，从而出现很多的失败，
    虽然失败能重新处理，但太多了，还是会可能引起内存溢出的错误

请问又没办法，在调用kafkaSpout时，现在每次nextTuple的消息数量，保持在一定数量
或者又没办法取得每次nextTuple时，获取的消息数量

为何不设置速率慢一些，如果kafka更快，那么storm可能更处理不了。所以最好他们的吞吐量能匹配。

starrycheng 发表于 2015-7-27 16:10
为何不设置速率慢一些，如果kafka更快，那么storm可能更处理不了。所以最好他们的吞吐量能匹配。

你说的我不是太明白，您的意思是否是设置kafka发送消息的速率慢点是吗？？

这个我已经做了，但还是不能完全解决问题：
1. 首先我现在是在测试环境，我通过延时处理，将发送到kafka的速度减缓，刚开始Storm处可以正常处理，
    但后面发现kafka的速度也会越来越快（因为我发送到kafka的消息也是一个进程处理的，有很多数据库交互，到后面会越来越快，慢慢的就远远超过storm能处理的范围）
2. 另外测试环境即使通过了，我到了正式环境还得再调试一遍，非常麻烦，所以还是希望能控制从
   kafka抓取数据的速率

starrycheng 发表于 2015-7-27 16:17

这个我已经做了，但还是不能完全解决问题：
1. 首先我现在是在测试环境，我通过延时处理，将发送到kafka的速度减缓，刚开始Storm处可以正常处理，
    但后面发现kafka的速度也会越来越快（因为我发送到kafka的消息也是一个进程处理的，有很多数据库交互，到后面会越来越快，慢慢的就远远超过storm能处理的范围）
2. 另外测试环境即使通过了，我到了正式环境还得再调试一遍，非常麻烦，所以还是希望能控制从
   kafka抓取数据的速率

顶一个，哪个大牛能给指点下。。。。拜谢了

再顶一下，另有哪位大神能帮忙解决，我仅有的积分全送啊