spark ui中executor显示的内存量与设置的内存量不符的问题

Spark SenLin 4年前 (2020-10-21) 781次浏览 已收录 0个评论

spark ui中executor显示的内存量与设置的内存量不符的问题

executor显示的内存量是实际执行程序使用的内存量,也就是排除 spark.storage.memoryFraction (默认0.6)     设置的比例外,然后使用的内存量。

默认是0.6。也就是如果申请1G,实际用0.6G,还有的使用详细如下spark ui中executor显示的内存量与设置的内存量不符的问题


top8488大数据 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:spark ui中executor显示的内存量与设置的内存量不符的问题
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址