分享

hadoop2.6配置fair schedule的诡异问题

尘世随缘 发表于 2015-5-14 11:45:57 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 34488
运行环境:jdk1.7,hadoop 2.6
调度器选择:fair schedule
关于fair schedule的配置肯定没问题。
我遇到的问题是这样,
调度器队列配置:
<allocations>
<queue name="hive_queue">
        <minResources>1000 mb,1vcores</minResources>
        <maxResources>5000 mb,5vcores</maxResources>
        <maxRunningApps>10</maxRunningApps>
        <maxAMShare>0.1</maxAMShare>
        <weight>1.0</weight>
        <schedulingPolicy>fair</schedulingPolicy>
</queue>
<queue name="mr_queue">
        <minResources>1000 mb,1vcores</minResources>
        <maxResources>5000 mb,5vcores</maxResources>
        <maxRunningApps>5</maxRunningApps>
        <maxAMShare>0.1</maxAMShare>
        <weight>2.0</weight>
        <schedulingPolicy>fair</schedulingPolicy>
</queue>


<queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>


<!-- Queue 'secondary_group_queue' is a parent queue and may have user queues
        under it -->
<queue name="secondary_group_queue" type="parent">
        <weight>3.0</weight>
</queue>


<user name="sample_user">
        <maxRunningApps>30</maxRunningApps>
</user>
<userMaxAppsDefault>5</userMaxAppsDefault>


<queuePlacementPolicy>
        <rule name="specified" />
        <rule name="primaryGroup" create="false" />
        <rule name="nestedUserQueue">
                <rule name="secondaryGroupExistingQueue" create="false" />
        </rule>
        <rule name="default" queue="sample_queue" />
</queuePlacementPolicy>
</allocations>
在hive中指定队列名称,比如hive_queue,命令:set mapreduce.job.queuename=hive_queue;提交一个hive的统计程序,在队列管理中看hive_queued的相关信息:Num Pending Applications:1 说明这个查询没有请求到资源,hive 只执行到:
Starting Job = job_1431392332169_0005, Tracking URL = http://master:8088/proxy/application_1431392332169_0005/

Kill Command = /home/hadoop/hadoop-2.6.0/bin/hadoop job  -kill job_1431392332169_0005
就停住不动了。

如果我不指定队列,默认进入了sample_queue,就可以执行hive的分组统计功能。

有没有人遇到过这样的问题,请求解答!


已有(8)人评论

跳转到指定楼层
bob007 发表于 2015-5-14 12:09:28
申请的过程中,可能存在资源不足的情况。
楼主调整下里面的配置参数,尽量和系统匹配

比如
<minResources>1000 mb,1vcores</minResources>
可以调节的小一些
回复

使用道具 举报

尘世随缘 发表于 2015-5-14 12:36:34
已经调整小了,如下:
        <minResources>1024 mb,1vcores</minResources>
        <maxResources>8000 mb,6vcores</maxResources>
但是执行一个JOB之后,RM后台的日志显示如下:
org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1431549136462_0001_000001 State change from SUBMITTED to SCHEDULED
后面就不动了。

点评

这是调大哦  发表于 2015-5-15 16:37
回复

使用道具 举报

Alkaloid0515 发表于 2015-5-14 13:07:21
尘世随缘 发表于 2015-5-14 12:36
已经调整小了,如下:
        1024 mb,1vcores
        8000 mb,6vcores

既然参数的改变,发生变化,说明,确实是参数的问题,楼主在调小一些,或则改变其它参数试试
回复

使用道具 举报

尘世随缘 发表于 2015-5-14 13:39:34
各参数都调整过了,如果不指定队列名称,可以正常运行一个job,指定了队列名称后就停住不动了。
回复

使用道具 举报

mituan2008 发表于 2015-5-14 15:06:38
尘世随缘 发表于 2015-5-14 13:39
各参数都调整过了,如果不指定队列名称,可以正常运行一个job,指定了队列名称后就停住不动了。

楼主是按照什么文档来配置的,调度器这样配置少见
回复

使用道具 举报

mituan2008 发表于 2015-5-15 12:22:37



楼主参考下这篇文章,里面对FairScheduler的配置,希望对楼主有所帮助
Hadoop2.6集群环境搭建(HDFS HA+YARN)
回复

使用道具 举报

langke93 发表于 2015-5-15 16:35:43
尘世随缘 发表于 2015-5-14 13:39
各参数都调整过了,如果不指定队列名称,可以正常运行一个job,指定了队列名称后就停住不动了。

楼主什么配置,内存多大,几核
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条