标签:序列化

Spark 调优

大家都知道spark的计算是基于内存的,所以内存的合理使用对spark调优至关重要,其实大方向主要关注三个方面CPU,网络带宽,内存。下文主要覆盖两个方面,一个是网络(数据序列化),一个是内存。 数据序列化 序列化在分布…