这篇文章具体描述了Spark Tungsten project 引入的新的内存管理机制,并且描述了一些使用细节。 前言 发现目前还没有这方面的文章,而自己也对这块比较好奇,所以就有了这篇内容。 分析方式基本是自下而上,也…
标签:tungsten
Spark Tungsten-sort Based Shuffle 分析
Tungsten-sort 算不得一个全新的shuffle 方案,它在特定场景下基于类似现有的Sort Based Shuffle处理流程,对内存/CPU/Cache使用做了非常大的优化。带来高效的同时,也就限定了自己的…