flume1.8是否可以监听的同时打印此时监听的精准时间

flume1.8是否可以监听的同时打印此时监听的精准时间？
apache commons io和flume监听文件夹变化各自的优缺点？
求大神给我一些思路呀！！

flume1.8是否可以监听的同时打印此时监听的精准时间？
为何要打印时间戳，你具体的想法是什么，是需要详细描述出来。可以在sink中配置时间戳
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/lxw1234/%Y%m%d
agent.sinks.sink1.hdfs.filePrefix = lxw1234_%{agentHost}
agent.sinks.sink1.hdfs.fileSuffix = .log
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.useLocalTimeStamp = true
agent.sinks.sink1.hdfs.writeFormat = Text
agent.sinks.sink1.hdfs.rollCount = 0
agent.sinks.sink1.hdfs.rollSize = 0
agent.sinks.sink1.hdfs.rollInterval = 600
agent.sinks.sink1.hdfs.batchSize = 500
agent.sinks.sink1.hdfs.threadsPoolSize = 10
agent.sinks.sink1.hdfs.idleTimeout = 0
agent.sinks.sink1.hdfs.minBlockReplicas = 1

agent.sinks.sink1.channel = fileChannel




apache commons io和flume监听文件夹变化各自的优缺点？
flume在大数据中常用，而且跟其它大数据组件无缝结合。可以算是大数据的传输数据组件
Commons IO是针对开发IO流功能的工具类库，是传统的传输组件。
二者类同的地方，比如文件监控。
对于大数据来讲，建议使用Flume。

yaojiank 发表于 2018-12-18 21:55
flume1.8是否可以监听的同时打印此时监听的精准时间？
为何要打印时间戳，你具体的想法是什么，是需要详细 ...

想法就是如果监听到一个文件变化的时候，在shell中打印出精确到毫秒的监听变化时间，请问利用taildir需要怎么配置呢？

wx_rLynkyG4 发表于 2018-12-25 11:35
想法就是如果监听到一个文件变化的时候，在shell中打印出精确到毫秒的监听变化时间，请问利用taildir需要 ...

tail -f直接监控flume运行日志试试。

yaojiank 发表于 2018-12-25 22:24
tail -f直接监控flume运行日志试试。

- -请问为什么配置日志目录flume.root.logger=INFO,LOGFILE#flume.log.dir=./logs
#flume.log.file=flume.log
flume.log.file=/home/sunsheen/listen/apache-flume-1.8.0-bin/logs/flume.log
但是其实在/home/sunsheen/listen/apache-flume-1.8.0-bin/logs/flume.log并监听不到日志信息呢？

wx_rLynkyG4 发表于 2018-12-26 10:22
- -请问为什么配置日志目录flume.root.logger=INFO,LOGFILE#flume.log.dir=./logs
#flume.log.file=flum ...

在启动时去掉下面选项
[mw_shl_code=scala,true]-Dflume.root.logger=INFO,console
[/mw_shl_code]

yaojiank 发表于 2018-12-26 10:30
在启动时去掉下面选项

我去掉了这个 但是还是没有日志输出。 原始的日志配置，输出日志的位置是./bin/logs/flume.log对吗？我不更改日志配置的时候，在这个里面文件夹里面没有flume.log日志文件

不是的，应该需要配置下log4j

-Dflume.root.logger=INFO,console 该参数将会把flume的日志输出到console，这样也可以的。
具体的时间戳，想要定制，就自己开发下

bioger_hit 发表于 2018-12-26 13:35
不是的，应该需要配置下log4j

-Dflume.root.logger=INFO,console 该参数将会把flume的日志输出到console ...

就是在linux中把日子打印到控制台只能输出到秒，但是日志中配置的输出到毫秒。在windows中可以输出到毫秒，一样的日志配置信息。