分享

yarn怎么限制cpu资源使用

jinwensc 2018-6-24 23:05:53 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 12946
回帖奖励 45 云币      回复本帖可获得 5 云币奖励! 每人限 1 次
机器16core(32 超线程)  64G


yarn.nodemanager.resource.cpu-vcores=32
mapreduce.reduce.cpu.vcores=1
mapreduce.reduce.memory.mb=2G
mapreduce.map.cpu.vcores=1
mapreduce.map.memory.mb=1.5G
yarn.nodemanager.resource.memory-mb=30G
yarn.scheduler.minimum-allocation-mb=2G
yarn.scheduler.increment-allocation-mb=1G


每个node 15container      30G/1.5G(map)=20container 30G/2G(minimum-allocation-mb)=15container
就是每个node使用cpu  15/32

这个参数的mr作业按道理cpu使用的vcore不会超过一半,但是实际的cpu 使用达到100%

yarn对cpu的使用怎么控制让其不到100%?

yarn对于资源的调度主要是内存,对于cpu却不是很明显,一定要启用cgroup吗?

已有(2)人评论

跳转到指定楼层
yuwenge 发表于 2018-6-25 16:31:54

回帖奖励 +5 云币

看来楼主对这个还是有一定的了解的。只不过觉得可能是有点麻烦。没错,需要使用cgroup来实现资源隔离。
推荐参考
分析Hadoop YARN资源隔离机制
http://www.aboutyun.com/forum.php?mod=viewthread&tid=10913

Hadoop YARN中内存和CPU两种资源的调度和隔离

http://www.aboutyun.com/forum.php?mod=viewthread&tid=5918

YARN资源隔离配置案例

http://www.aboutyun.com/forum.php?mod=viewthread&tid=23166

yarn配置cgroup隔离cpu资源

http://www.aboutyun.com/forum.php?mod=viewthread&tid=24717




回复

使用道具 举报

jinwensc 发表于 2018-6-26 15:16:11
yuwenge 发表于 2018-6-25 16:31
看来楼主对这个还是有一定的了解的。只不过觉得可能是有点麻烦。没错,需要使用cgroup来实现资源隔离。
推 ...

谢谢,将vcore数量调的比物理核数小,可以将cpu降低cpu使用
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条