一个Spark集群中能否同时运行多个任务

一个Spark集群中能否同时运行多个任务，即一个监控多个kafka中的数据变动，一个监控多个flume中的数据变动

qcbb001 · 发表于 2017-9-22 17:20:15

应该可以的运行多个任务。否则集群过大太浪费了。

fengfengda · 发表于 2017-9-22 17:21:31

qcbb001 发表于 2017-9-22 17:20
应该可以的运行多个任务。否则集群过大太浪费了。

使用standalone的模式不是只能运行一个吗？

qcbb001 · 发表于 2017-9-22 17:25:14

fengfengda 发表于 2017-9-22 17:21
使用standalone的模式不是只能运行一个吗？

你试下开多个客户端

fengfengda · 发表于 2017-9-22 18:21:11

qcbb001 发表于 2017-9-22 17:25
你试下开多个客户端

自己之前想多了，能运行多个，只是SparkUI的端口号会报错，之前不细心没有看这个错误信息，一直以为只能运行一个，真是入了一个大坑

fengfengda · 发表于 2017-9-22 18:29:33

qcbb001 发表于 2017-9-22 17:25
你试下开多个客户端

我需要监控fluem，但是有很多个监控端口，要运行大量的spark程序应该不会出什么问题吧

qcbb001 · 发表于 2017-9-22 18:43:20

fengfengda 发表于 2017-9-22 18:29
我需要监控fluem，但是有很多个监控端口，要运行大量的spark程序应该不会出什么问题吧

程序自己应该能处理。

fengfengda · 发表于 2017-9-22 18:44:58

qcbb001 发表于 2017-9-22 18:43
程序自己应该能处理。

但是启动的时候还要一个一个启动，真正的生产环境也是如此吗？感觉好麻烦

qcbb001 · 发表于 2017-9-23 16:25:08

fengfengda 发表于 2017-9-22 18:44
但是启动的时候还要一个一个启动，真正的生产环境也是如此吗？感觉好麻烦

可以通过脚本自动化

图文精华