hyj 发表于 2014-7-17 16:22
不了解你的实际情况，觉得你的方向应该这样：刚开始正常，后来不正常，你需要从数据不断累加方向考虑。数 ...

谢谢，我把你的话 看了几遍，我的处理过程是取数据 丢数据库，。按照你的说法，那就应该是去向有问题。对吗 数据库方面用的连接池。 莫非是连接没释放，阻塞了。。导致内存不足?    只能多尝试了

2278 发表于 2014-7-17 16:18
数组越界是因为 没取到body  ，没做处理才报的
我再找找原因。困扰我几天了

不了解你的实际情况，觉得你的方向应该这样：刚开始正常，后来不正常，你需要从数据不断累加方向考虑。数据的累加，会带来什么问题。

hyj 发表于 2014-7-17 16:16
建议从两方面检查:
1.程序问题
从你的错误来看，是数组越界了。

数组越界是因为 没取到body  ，没做处理才报的
我再找找原因。困扰我几天了

2278 发表于 2014-7-17 16:10
就是直接tail -f 形式取nginx日志，split 下 丢数据库，遇到的问题是，程序在正常运行一段时间后。。就 ...

建议从两方面检查:
1.程序问题
从你的错误来看，是数组越界了。
2.内存或则其他原因，数据累计
造成错误

留下来看看 ！

2278 发表于 2014-7-17 10:11
通过日志 我查到，在不出错的正常情况下，body.length 在200-300之间 一般小于500  而出错的那条。都大 ...

你们是不是爬虫，爬完内容，然后通过flume传递，然后数据分析。
如果Memory Channel那就关系比较大了。你可以调大试一下。

sstutu 发表于 2014-7-17 09:28
你们这个是不是自定义的插件，需要看源码

通过日志 我查到，在不出错的正常情况下，body.length 在200-300之间 一般小于500  而出错的那条。都大于1000 。。而我的内存设置是1000  会是内存设太小？、、、nginx 日志一般不会变,在nginx日志里查看基本上每条都差不多长度，，可是为什么body。length 有条会忽然比其他的大很多。。 这是为啥呢，，正在开大内存测试中。。。。