一、coalesce算址的使用 使用coalesce算子，可以手动减少DataFrame的partition数量，并且不用触发shuffle,这也是coalesce跟repartition的区别。 repartition…

repartitionAndSortWithinPartitions算是一个高效的算子，是因为它要比使用repartition And sortByKey 效率高，这是由于它的排序是在shuffle过程中进行，一边shu…

问题描述： streaming 消费多个topic，但是不同topic的每个分区的数据量差距很大，一个数量级以上。导致每个task消费的数据量不一样，造成严重的数据倾斜。所以需要进行一次repartition使得处理起来…