分享

StreamingContext创建的两种方式

pig2 2017-3-7 09:10:30 发表于 介绍解说 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 6698



有两种创建StreamingContext的方式:

第一种通过SparkConf
[mw_shl_code=scala,true]val conf = new SparkConf().setAppName(appName).setMaster(master);
val ssc = new StreamingContext(conf, Seconds(1));[/mw_shl_code]

第二种 还可以使用已有的SparkContext来创建
[mw_shl_code=scala,true]val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(1))[/mw_shl_code]

appName, 是用来在Spark UI上显示的应用名称。 master, 是一个Spark、 Mesos或者Yarn集群
的URL, 或者是local。

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条