分享

急,大家帮帮忙,spark 这样不能多个JOB吗,只能一个JOB跑,其他等待

ananan36 发表于 2015-11-18 18:50:53 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11488
./start-thriftserver.sh --hiveconf hive.server2.thrift.port=14000

./beeline -u jdbc:hive2://hadoop170.hp:14000 开多个窗口执行语句发现只有一个JOB语句执行,其他JOB语句等待

下面JOBID 为3的就是要等2结束才允许,为什么呢

Active Jobs (2)
Job Id Description Submitted Duration Stages: Succeeded/Total Tasks (for all stages): Succeeded/Total
3  collect at SparkPlan.scala:84  2015/11/18 18:49:38  27 s 0/2  0/22607  
2  collect at SparkPlan.scala:84  2015/11/18 18:49:28  37 s 0/2  19273/22607  

已有(3)人评论

跳转到指定楼层
bioger_hit 发表于 2015-11-18 19:38:22
这个跟资源及调度有关系。
肯定可以并行运行的。否则集群就没有意义了
回复

使用道具 举报

ananan36 发表于 2015-11-18 21:34:55
本帖最后由 ananan36 于 2015-11-18 21:36 编辑
bioger_hit 发表于 2015-11-18 19:38
这个跟资源及调度有关系。
肯定可以并行运行的。否则集群就没有意义了

测试过了吗?
如果用spark-sql是可以的
回复

使用道具 举报

ananan36 发表于 2015-11-19 09:31:59
ananan36 发表于 2015-11-18 21:34
测试过了吗?
如果用spark-sql是可以的

能帮我测试下吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条