分享

flume和hdfs是不是必须装在同一台服务器上

我现在想在一台服务器上安装flume,然后把flume收集到的信息存到hadoop集群里(flume和hadoop集群在同一个网段内)能否实现?

已有(3)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-8-14 09:47:13
不是必须的,能连接上就行
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
http://www.aboutyun.com/thread-7949-1-1.html



回复

使用道具 举报

hadoop_ok 发表于 2015-8-14 09:58:04
Alkaloid0515 发表于 2015-8-14 09:47
不是必须的,能连接上就行
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
http://www ...

谢谢!!
回复

使用道具 举报

zxmit 发表于 2015-8-14 10:17:25
如果需要向HDFS写入数据的情况下,Flume需要安装在Hadoop集群上。下面是我在一个非Hadoop节点上做的一个测试,输出得到的日志信息:
2015-08-14 10:05:53,370 (hdfs-k1-call-runner-0) [WARN - org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62)] Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-08-14 10:05:53,611 (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:455)] HDFS IO error
java.io.IOException: No FileSystem for scheme: hdfs
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2584)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
        at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:243)
        at org.apache.flume.sink.hdfs.BucketWriter$1.call(BucketWriter.java:235)
        at org.apache.flume.sink.hdfs.BucketWriter$9$1.run(BucketWriter.java:679)
        at org.apache.flume.auth.SimpleAuthenticator.execute(SimpleAuthenticator.java:50)
        at org.apache.flume.sink.hdfs.BucketWriter$9.call(BucketWriter.java:676)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
意思是找不到HDFS这个文件系统。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条