最近一直在忙，没顾得上写文章，新年的第一篇文章，希望大家可以喜欢；好了，今天接着之前的内容，来聊聊BlockManager的…

之前的章节说过 FSDirectory 中记录了所有的文件节点信息，而具体的文件内容则被分布式的存储在各个 DataNode 上。尽管通过 FSDirectory 我们能够知道每个节点对应的路径的真实路径，但假如我们需要…

本文为 Spark 2.0 源码分析笔记，某些实现可能与其他版本有所出入 上一篇文章介绍了 Spark Storage 模块的整体架构，本文将着手介绍在 Storeage Master 和 Slave 上发挥重要作用的 …

概述 BlockManager是spark自己的存储系统，RDD-Cache、 Shuffle-output、broadcast 等的实现都是基于BlockManager来实现的，BlockManager也是分布式结构，…

看这篇文章前，请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockManager的这条线路的分析。 这篇内容是个人的一些经验，大家用的时候还是建议好好…