【求助】flume中source的event问题

大家好：
我使用avro接口，那么source中每个event的数量是多少条？是否可以配置？ 假如说可以配置，那么配置成10条，那么如果进入的数据只有5条，那么会产针这5条数据推至channel中？

可以查看官网，avro source中并没有这个配置项

Listens on Avro port and receives events from external Avro client streams. When paired with the built-in Avro Sink on another (previous hop) Flume agent, it can create tiered collection topologies. Required properties are in bold.

Property Name	Default	Description
channels	–
type	–	The component type name, needs to be avro
bind	–	hostname or IP address to listen on
port	–	Port # to bind to
threads	–	Maximum number of worker threads to spawn
selector.type
selector.*
interceptors	–	Space-separated list of interceptors
interceptors.*
compression-type	none	This can be “none” or “deflate”. The compression-type must match the compression-type of matching AvroSource
ssl	false	Set this to true to enable SSL encryption. You must also specify a “keystore” and a “keystore-password”.
keystore	–	This is the path to a Java keystore file. Required for SSL.
keystore-password	–	The password for the Java keystore. Required for SSL.
keystore-type	JKS	The type of the Java keystore. This can be “JKS” or “PKCS12”.
exclude-protocols	SSLv3	Space-separated list of SSL/TLS protocols to exclude. SSLv3 will always be excluded in addition to the protocols specified.
ipFilter	false	Set this to true to enable ipFiltering for netty
ipFilter.rules	–	Define N netty ipFilter pattern rules with this config.

在Memory Channel中可以配置，最大events 的数量及每次传输的数量
例如下面：
最大容量为10000
每次事务为100
100events 代表source传递的最大数量，以及channel传递给sink的最大数量

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 800000

地址
http://flume.apache.org/FlumeUserGuide.html#avro-source

tntzbzc 发表于 2014-12-30 05:40
在Memory Channel中可以配置，最大events 的数量及每次传输的数量
例如下面：
最大容量为10000

哥们好：是这样 在cloudera的监控中，source说每秒的事件是13.3，这个13.3是记录数吗？

lixiaoliang7 发表于 2014-12-30 17:22
哥们好：是这样 在cloudera的监控中，source说每秒的事件是13.3，这个13.3是记录数吗？

这个是接受的evens

tntzbzc 发表于 2014-12-30 13:55
这个是接受的evens

一个events是一条记录吗？

lixiaoliang7 发表于 2014-12-30 18:00
一个events是一条记录吗？

不一定，如果格式为文本的话，应该是的。

tntzbzc 发表于 2014-12-30 14:12
不一定，如果格式为文本的话，应该是的。

如何是arvo呢？

lixiaoliang7 发表于 2014-12-30 18:24
如何是arvo呢？

不清楚了，官网看看是不是有这方面的资料。只看到官网上说文本一条是一个event

tntzbzc 发表于 2014-12-31 12:28
不清楚了，官网看看是不是有这方面的资料。只看到官网上说文本一条是一个event

多谢哥们的回复。
我1月抽空研究一下flume的源码。有结果时会回复这个贴子的。