第30课：彻底解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间什么时候会出现OOM？Spark中的Broadcast到底是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？
Spark Unified Memory的运行原理和机制是什么？ Spark Unified Memory，这是统一或者联合的意思，但是 Spark 没有用 Shared 这个字，例如 A 和 B 进行 Unified 和 A 和 B 进行 Shared 其实是两个不同的概念 。
Spark JVM最小配置是什么？
用户空间什么时候会出现OOM？spark 2.1.x中用户空间OOM ，首先要确定user space memory是什么，举个很简单的例子，假如Executor 是100G的内存，那user space memory是什么ÿ
段智华
认证博客专家
Spark
AI
企业级AI技术
本人从事大数据人工智能开发和运维工作十余年，码龄5年，深入研究Spark源码，参与王家林大咖主编出版Spark+AI系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂，包括内核解密篇，商业案例篇，性能调优篇和Spark+AI解密篇。从2015年开始撰写博文，累计原创1059篇，博客阅读量达155万次
