分享

Spark Streaming中的ssc.textFileStream(),获取不到数据

guxingyu 发表于 2016-3-3 16:04:43 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 12 61540
arsenduan 发表于 2017-2-21 20:44:02
wx_RYClUEop 发表于 2017-2-21 19:34
请问层主,这个问题解决了吗?我看了好几个帖子,都是只有问题,都没有解决办法

def textFileStream(directory: String): DStream[String]
Permalink
Create an input stream that monitors a Hadoop-compatible filesystem for new files and reads them as text files (using key as LongWritable, value as Text and input format as TextInputFormat).
上面是官网解释。
也就是,
1.首先参数必须是目录,而不能是指定文件
2.目录中的文件必须是text文件。
二者哪一个不符合都可能读不到数据。

可以更换为fileStream,不过需要版本支持。
streamingContext.fileStream[keyClass, valueClass, inputFormatClass](dataDirectory)
更多可参考
Spark中文手册3:Spark之基本概念
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11502



回复

使用道具 举报

fengfengda 发表于 2017-9-7 16:52:57
都没有人解决这个问题吗,过了这么久了
回复

使用道具 举报

星语心愿 发表于 2018-1-23 17:27:53
本帖最后由 星语心愿 于 2018-1-23 17:30 编辑

b08d1a178a82b901597f9273798da9773812ef15.jpg
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条