分享

一个spark环境配置的问题

zcfightings 发表于 2016-4-12 17:22:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6218
本地装了一台 spark client A,远程有spark 集群B ,现在想从本地连接远程的服务。想使用spark on yarn的模式进行配置。问题是,我不知道远端集群B的master地址。

问:
1.以spark on yarn模式配置的,需要知道集群master地址吗?(我个人感觉是应该要的,因为yarn不知道spark的master和worker,这边如果也不给,master怎么分配worker呢?但boss说不用,我一说他就说 你配成on yarn模式,我再说 他就说你搞清楚yarn是干嘛的)

2.客户端需不需要配slave? 这个是个人疑问。个人感觉应该不需要,client只要连接到了集群master,剩下的事情都是master来做了。

如上:求解释第一点,求证第二点。

已有(1)人评论

跳转到指定楼层
atsky123 发表于 2016-4-12 17:50:26
Spark on YARN两种运行模式,一种是集群模式,这个需要知道master,一种client模式,这个应该可以不用知道。

比如
集群模式:
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar


client模式:
spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode client /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar

更多参考
Spark on YARN两种运行模式介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12294


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条