分享

关于capacityschedule队列用户映射的疑问?

最近有个hadoop的问题很困惑,网上的问题和我一样,我就直接贴过来了。。
配置的capacityschedule 有问题

我增加了一个队列,跟default平行,
<name>yarn.scheduler.capacity.root.queues</name>
    <value>hadoop,default</value>

<name>yarn.scheduler.capacity.queue-mappings</name>
    <value>u:%user:%user</value>

然后我用hadoop用户执行hive作业或mapreduce作业,都是提交到default队列,而不是hadoop队列,当然我可以修改map-site.xml里面的mapreduce.job.queuename让他用hadoop队列执行。
但是yarn.scheduler.capacity.queue-mappings这个参数是如何做MR的用户映射的?

hadoop2.5

已有(4)人评论

跳转到指定楼层
leo_1989 发表于 2016-5-4 19:21:04
这个官网有的,个人理解是只要配置了这个项,被配置的用户和及所属这个组的用户,所提交的job都支持这种队列方式

引自官网
Queue Mapping based on User or Group - This feature allows users to map a job to a specific queue based on the user or group.
This configuration specifies the mapping of user or group to aspecific queue. You can map a single user or a list of users to queues. Syntax: [u or g]:[name]:[queue_name][,next_mapping]*. Here, u or g indicates whether the mapping is for a user or group. The value is u for user and g for group. name indicates the user name or group name. To specify the user who has submitted the application, %user can be used. queue_name indicates the queue name for which the application has to be mapped. To specify queue name same as user name, %user can be used. To specify queue name same as the name of the primary group for which the user belongs to, %primary_group can be used.
1capacity.png


网址:
http://hadoop.apache.org/docs/cu ... acityScheduler.html
回复

使用道具 举报

leo_1989 发表于 2016-5-4 19:25:51
不知楼主是否是上面的问题。
yarn.scheduler.capacity.queue-mappings这个参数是如何做MR的用户映射的?

如果想了解他们的原理可以看下源码。这里只是配置项目,配置之后,程序运行的时候会读取这个配置,然后提交的时候会用到这个配置
回复

使用道具 举报

fly001 发表于 2016-5-4 21:53:48
可是我配置的已经照官网配置了,为什么运行出来的还是default队列而不是hadoop队列呢?我理解因为mapreduce.job.queuename参数的原因,这个参数无法执行啊》。。。
回复

使用道具 举报

fly001 发表于 2016-5-5 09:23:35
昨天意外看来下2.5的文档,发现这个mapping 在2.6开始支持的。。。。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条