wx_RYClUEop 发表于 2018-6-1 23:13
你好，请问，也就是我的设置如下spark-submit \
--executor-memory 20G
.....

如果你使用的是cache，那么只会用到内存，不会用到磁盘的

hero1122 发表于 2017-6-26 17:46
堆内和堆外内存都是指的jdk的内存，是指的exector的jdk的heap空间啊；
第一个问题，我理解spark.memory. ...

你好，请问，也就是我的设置如下spark-submit \
--executor-memory 20G
.....


那么一个执行器堆内存和堆外内存加起来20G?

因为我现在碰到一个问题，我申请的资源总资源大致1T，50个executor，每个20G，然后做了cache操作，最后在spark web中storage查看，memory用了1.5T，disk用了1.4T，disk我可以理解，内存不够，就存在磁盘了，但是为什么memory大于1T，所以猜测是不是使用了堆外内存。但是如果堆內+堆外就是1T，那难道是spark web 显示错误？


谢谢解答。

SuperDove 发表于 2017-6-13 10:28
版主和各位网友们，
1.你们能确定spark.memory.storageFraction 这个参数确实是调的堆外内存的百分比大小 ...

堆内和堆外内存都是指的jdk的内存，是指的exector的jdk的heap空间啊；
第一个问题，我理解spark.memory.storageFraction是调整StorageMemory占用堆外内存的比例；

感谢分享

版主和各位网友们，
1.你们能确定spark.memory.storageFraction 这个参数确实是调的堆外内存的百分比大小么？大伙可以百度查一下这个参数，大部分都说的是吊证堆内内存的大小，不知道是不是我的理解有误。
2.堆外内存到底是在executor里还是executor外的？