分享

Sapark Streaming ,window和RDD的转换问题

SingleDee 发表于 2015-8-26 16:04:16 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 12014
最近在研究Streaming

在例子NetworkWordCount中,我设置了一个window(30秒)间隔(10秒)

获取了很多单词后

我想把这个窗口做一个reduce后,根据所有单词出现的频率次数进行排序,应该怎么做?

我查过api,只有RDD方法的top方法或者sortbyvalue方法能达到,但Streaming里面基本上都是Dstream类型的。不能使用RDD的方法。

求解答

已有(1)人评论

跳转到指定楼层
hyj 发表于 2015-8-26 17:23:33
可以的

建议参考这篇文章

Spark Streaming编程讲解
http://www.aboutyun.com/thread-8900-1-1.html



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条