分享

CDH上spark gateway 无状态 不适用是什么意思?求大神解释

IT_雪夜归人 发表于 2015-12-28 15:03:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 86280
CDH上spark gateway是做什么的? 装好之后 显示 无状态 不适用 但是spark也不报警 这是怎么回事?求大神解释

已有(4)人评论

跳转到指定楼层
goldtimes 发表于 2015-12-28 17:06:19
服务器角色分配表
服务器(cdhwork.org)ip地址安装的角色
server1192.168.10.1CDH本地镜像,cloudera manager,时间服务器
server2192.168.10.2Cloudera Management Service Host Monitor
Cloudera Management Service Service Monitor
server3192.168.10.3HDFS NameNode
Hive Gateway
Impala Catalog Server
Cloudera Management Service Alert Publisher
Spark Gateway
ZooKeeper Server
server4192.168.10.4HDFS SecondaryNameNode
Hive Gateway
Impala StateStore
Solr Server
Spark Gateway
YARN (MR2 Included) ResourceManager
ZooKeeper Server
server5192.168.10.5HDFS Balancer
Hive Gateway
Hue Server
Cloudera Management Service Activity Monitor
Oozie Server
Spark Gateway
Sqoop 2 Server
ZooKeeper Server
server6192.168.10.6HBase Master
Hive Gateway
MapReduce JobTracker
Solr Server
Spark Gateway
YARN (MR2 Included) JobHistory Server
ZooKeeper Server
server7192.168.10.7HBase REST Server
HBase Thrift Server
Hive Metastore Server
HiveServer2
Key-Value Store Indexer Lily HBase Indexer
Cloudera Management Service Event Server
Spark History Server
server8192.168.10.8HBase RegionServer
HDFS DataNode
Impala Daemon
MapReduce TaskTracker
YARN (MR2 Included) NodeManager
server9192.168.10.9HBase RegionServer
HDFS DataNode
Impala Daemon
MapReduce TaskTracker
YARN (MR2 Included) NodeManager
server10192.168.10.10HBase RegionServer
HDFS DataNode
Impala Daemon
MapReduce TaskTracker
YARN (MR2 Included) NodeManager
server11192.168.10.11HBase RegionServer
HDFS DataNode
Impala Daemon
MapReduce TaskTracker
YARN (MR2 Included) NodeManager
server12192.168.10.12HBase RegionServer
HDFS DataNode
Impala Daemon
MapReduce TaskTracker
YARN (MR2 Included) NodeManager

猜测是一种角色

回复

使用道具 举报

regan 发表于 2015-12-28 17:44:54
spark gateway 是spark网关,spark通过该网关连接CHD并接受CHD管理。。。。。spark只是注册到了CDH上面,CDH只是监测显示spark状态,与spark运行正不正常、报不报警没有关系。因为CHD就是实现了一个观察者模式,接受集群软件的注册,管理集群。你这是不适用也不报警,我猜测是配置没有配好(如ip地址等)

回复

使用道具 举报

tianhao960 发表于 2016-6-24 11:29:21
遇到同样的问题,有解决方案吗?装不了 spark 了。。。。
回复

使用道具 举报

北纬30度 发表于 2018-6-20 18:00:29
遇到同样的问题,楼主怎么解决的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条