分享

spark与flume整合的问题

fengfengda 发表于 2017-9-20 14:27:13 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 4088
在创建的时候指定多个ip和端口号
val flumeStream = FlumeUtils.createPollingStream(ssc,addresses,StorageLevel.MEMORY_ONLY_SER_2)我能否在flumeStream.foreachRDD(rdd => {
   rdd.foreachPartition(f = it => {
     it.foreach(event => {这里面得到是哪个ip和端口号传过来的数据或者得到flume的配置文件中的一些信息

已有(3)人评论

跳转到指定楼层
NEOGX 发表于 2017-9-20 16:00:24
这个真不清楚,就看数据是否做标记了。也可以在传递的时候给数据打上标记,就可以识别了。
回复

使用道具 举报

fengfengda 发表于 2017-9-21 15:39:49
sparkStream一次最多可以监控多少个flume的端口号,监控多少个比较合适
回复

使用道具 举报

fengfengda 发表于 2017-9-21 15:42:04
还有这个sparkStream程序在生产环境是一直处于运行状态吗?用standalone好吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条