Spark--基于分区进行操作 2019年6月8日 Spark 0条评论 207次阅读 0人点赞 基于分区进行操作 场景 Spark提供了map操作,map操作是对每一个元素进行函数操作。但是如果需求中有分配操作(比如获取数据库链接)此时就没有必要为每一个元素进行重复的分配工作。此时可以使用mapPartitions…