日志
Spark中executor配置是1G，但是显示大于1G
|
1、spark的内存模型中，如果executor给的内存配置是1G，在yarn的WebUi界面中，内存显示大于1G这是为什么，哪些原因造成的。
回答：yarn对于应用程序所要申请的内存资源，有两个参数来影响实际申请到内存容量：
第一个是yarn.scheduler.minimum-allocation-mb：最小可申请内存量，默认是1024。
第二个是规整化因子（FIFO和Capacity Scheduler时，规整化因子等于最小可申请资源量，不可单独配置；Fair Scheduler时，规整化因子通过参数yarn.scheduler.increment-allocation-mb设置，默认是1024），其作用是应用程序申请的资源如果不是该因子的整数倍，则将被修改为最小的整数倍对应的值。
由于每个容器都会占用一些额外的内存，所以导致CoarseGrainedExecutorBackend的每个容器实际使用的内存数 > 申请的1G，在规整化因子的作用下，这些容器实际申请的内存，就会是2G；
更多参考
https://www.jianshu.com/p/702068910f5b
https://blog.csdn.net/mlljava1111/article/details/51888744
/2 
