分享

Flume1.5.0入门:安装、部署、及flume的案例

 
evababy 发表于 2015-9-11 17:45:56
案例11
load balance 测试了random 和 round_robin 两种方式都没有做负载,所有消息都发到一个上去了,似乎锁定,是否还有其他参数控制呢?有遇到同样问题的小伙伴么?

补充内容 (2015-9-14 16:45):
负载似乎和transactionCapacity =100 有关,我测试场景没100条信息做一次轮训,但是尝试吧transactionCapacity 设置变小,但提示错误

补充内容 (2015-9-14 17:54):
轮训或者随机策略与每次处理数量有关
avro配置如下
a1.sinks.s1.batch-size = 1   默认100一次批次
注意batch-size的写法,有些sinks属性是batchSize,具体请参照


补充内容 (2015-9-14 17:54):
http://flume.apache.org/FlumeUserGuide.html#avro-sink
回复

使用道具 举报

小崔说事 发表于 2015-9-15 09:11:47
楼主 按照你的步骤 最好 我启动flume的时候报如下错误,不知道是什么原因
log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
然后就卡住不动了
回复

使用道具 举报

Alkaloid0515 发表于 2015-9-15 10:43:06
小崔说事 发表于 2015-9-15 09:11
楼主 按照你的步骤 最好 我启动flume的时候报如下错误,不知道是什么原因
log4j:WARN No appenders could  ...

先把log4j配置正确了
回复

使用道具 举报

小伙425 发表于 2015-9-25 16:07:55
回复

使用道具 举报

supertonny 发表于 2015-11-5 13:38:43
感谢楼主分享,赞一个!
回复

使用道具 举报

zmh 发表于 2015-11-26 13:04:23
回复

使用道具 举报

flume123 发表于 2015-12-2 10:34:37
Alkaloid0515 发表于 2015-9-15 10:43
先把log4j配置正确了

同求,log4j怎么配置
回复

使用道具 举报

euler_yang 发表于 2015-12-19 10:14:03
37#
兄台,搞定了没?
回复

使用道具 举报

euler_yang 发表于 2015-12-19 10:15:46
flume123 发表于 2015-12-2 10:34
同求,log4j怎么配置

兄台,这个问题搞定了没?能否分享下?
回复

使用道具 举报

jzm_2003 发表于 2015-12-23 12:26:24
yuwenge 发表于 2015-8-5 22:01
尝试下面方法:

第一种:

错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty

将你的hbase配置文件的hbas-env.sh中的配置变为:

1、将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条