文档摘要

6.2 配置与资源调优：把内存账算明白 本节摘要：Executor 内存被切成统一内存（执行+存储）、用户内存与系统保留三块，统一内存内部动态互借。本节给出内存份额的计算方法、缓存与溢写的行为推演、并行度与 Shuffle 参数的配对思路，并过一遍动态资源分配的触发条件。 上一节把 Executor 安置进了集群，本节打开 Executor 的 JVM 看内存布局。调参的第一原则：不知道参数动的是哪块内存，调了也是撞运气。 会员。《6.2 配置与资源调优：把内存账算明白》收录于灏天文库文集《Spark大数据分析与处理实战》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/178-spark%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E4%B8%8E%E5%A4%84%E7%90%86%E5%AE%9E%E6%88%98

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流