分享

spark streaming的维护方面的问题

dlh 发表于 2015-12-21 14:38:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 7887
前言:我的集群服务器是用户来维护,不能指望用户来通过ui来维护spark的稳定运行。所以我需要一个后台程序来监护管理spark的运行
问题:
1、这样的后台程序是否有现成的,还是要自己写?
2、如果自己写监护程序有什么方法知道这个app是否还在运行,目测spark自己还是比较稳定的,但是我写spark streaming的app就不太稳定。

已有(4)人评论

跳转到指定楼层
arsenduan 发表于 2015-12-21 15:05:12


自己写的话,困难度很大。最好使用现成的,比如zabbix

推荐文档
https://yunpan.cn/c37xMxVIdzLPx  访问密码 9d82
回复

使用道具 举报

dlh 发表于 2015-12-21 15:24:02
arsenduan 发表于 2015-12-21 15:05
自己写的话,困难度很大。最好使用现成的,比如zabbix

推荐文档

我看了下zabbix和文档,zabbix能检测到问题,并报告给维护人。我的需求是:相当于没有维护人,后台服务检测到问题自己就解决了,比如说后台程序自己重启app。
回复

使用道具 举报

arsenduan 发表于 2015-12-21 15:44:14
dlh 发表于 2015-12-21 15:24
我看了下zabbix和文档,zabbix能检测到问题,并报告给维护人。我的需求是:相当于没有维护人,后台服务检 ...

有点类似人工智能了哦
回复

使用道具 举报

dlh 发表于 2015-12-21 16:31:34
arsenduan 发表于 2015-12-21 15:44
有点类似人工智能了哦

不用那么高级,就相当于一个监护程序
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条