分享

Yarn配置:如何指定物理CPU核心数

Tesla 2018-12-18 15:13:35 发表于 方案探讨 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 6585

需求:
我想让8核心的集群节点在执行yarn分配的任务时,只使用其中的6个核心。

根据hadoop官方文档,
我目前把
yarn.nodemanager.resource.cpu-vcores 设置为6
yarn.nodemanager.resource.pcores-vcores-multiplier 设置为1.0
yarn.nodemanager.resource.percentage-physical-cpu-limit 设置为75

请问这样是否能做到?

已有(2)人评论

跳转到指定楼层
yaojiank 发表于 2018-12-18 21:35:23
指定物理这个看你使用的版本,而且即使你指定这个也不好说。
参考下面内容

YARN中目前的CPU被划分成虚拟CPU(CPU virtual Core),这里的虚拟CPU是YARN自己引入的概念,初衷是,考虑到不同节点的CPU性能可能不同,每个CPU具有的计算能力也是不一样的,比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍,这时候,你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时,可以指定每个任务需要的虚拟CPU个数。

从上面可以看出,CPU实际个数与虚拟个数是有可能不同的,这是其一
假如相同了,由于Hadoop2并没有实现CPU资源隔离,所以你需要使用Hadoop3,才有这个功能。

配置为6,具体在分配的时候,Hadoop还是会根据不同的情况来分配的。


回复

使用道具 举报

liuyou2036 发表于 2020-7-18 21:18:53
很好,学习了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条