分享

hive 实现并发执行多任务

  现有一个Hive客户端A(直接用hive命令开启) 在执行一个比较耗时的任务,此时另外再开启一个客户端B,就会出现卡死,等待前一个耗时的任务执行完,客户端B才能正常开启
另外,通过jdbc方式提交的查询任务也是这样,提交一个任务后,后面再提交的任务就会阻塞在那里,等待上一个任务执行完后才继续执行
难道hive无法并行多任务么,请指点

已有(3)人评论

跳转到指定楼层
NEOGX 发表于 2016-5-20 11:27:44
本帖最后由 NEOGX 于 2016-5-20 11:35 编辑

楼主调度策略是什么? 很可能是先来先服务(FIFO),最好配置其它两种模式试试,详细参考
Hadoop集群三种作业调度算法介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6798



回复

使用道具 举报

Joker 发表于 2016-5-21 14:58:03
估计你是想开启多个hive客户端,然后执行hql。
可以配置hive远程模式。
回复

使用道具 举报

leletuo2012 发表于 2016-5-24 14:52:39
Joker 发表于 2016-5-21 14:58
估计你是想开启多个hive客户端,然后执行hql。
可以配置hive远程模式。

已经开启了hive远程模式 只是第一个任务比较耗时 导致后面连客户端都无法打开,基于任务的优先级和指定多个任务队列,采取一定的调度策略 可以有效缓解这种问题
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条