用flume收集mapreduce的日志到hdfs，怎么一个hadoop jar产生一个日志文件

用flume收集mapreduce的日志到hdfs（通过在log4j配置文件里面增加一个到flume的appender），怎么让一个hadoop jar *命令产生一个日志文件存储在hdfs上？

同样一个storm jar ...一个日志文件怎么实现

shlp 发表于 2015-11-25 21:09
同样一个storm jar ...一个日志文件怎么实现

（通过在log4j配置文件里面增加一个到flume的appender）这个没看明白楼主是什么意思。
hadoop jar
storm jar
这只是运行命令，启动的是自己的程序。因为在程序里实现即可。

hadoop jar 里面直接将日志放到hdfs亦可

jixianqiuxue 发表于 2015-11-25 21:26
（通过在log4j配置文件里面增加一个到flume的appender）这个没看明白楼主是什么意思。
hadoop jar
sto ...

是这个意思，我先通过这种方式将日志输到flume，然后flume的sink端是hdfs

bioger_hit 发表于 2015-11-25 21:36
hadoop jar 里面直接将日志放到hdfs亦可

没明白。。需求是说要将不同的日记都收集到flume上，但是要区分开哪些日志是由哪些任务产生，可能由mapreduce产生，也可能由storm产生，要求做到一个job或者叫任务产生一个日志文件最后存在hdfs上。

shlp 发表于 2015-11-25 21:57
没明白。。需求是说要将不同的日记都收集到flume上，但是要区分开哪些日志是由哪些任务产生，可能由mapre ...

log4j可以自定义用户名和路径。
storm到storm文件，并且做个标识
同理hadoop也是

bioger_hit 发表于 2015-11-25 21:59
log4j可以自定义用户名和路径。
storm到storm文件，并且做个标识
同理hadoop也是

按然后可以一个storm jar命令产生一个日志文件？有没有链接啊，

用flume收集mapreduce的日志到hdfs

lmlm1234 发表于 2015-11-26 13:48
用flume收集mapreduce的日志到hdfs

是啊，但我想要一个“hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output”比方这样一条命令在hdfs上产生一个日志文件怎么实现啊？