主要想回答两个问题:
- map端(shuffle-write)如何对数据进行分片?
- reduce端(shuffle-read)如何读取数据?
ShuffleMapTask中,指定此task运算真对上游RDD的那个partition,即map端的partition,writer.write操作的时候,根据RDD的partitioner生成新的partitionId,然后写入,完成shuffle-write,下游shuffle-read的时候,拉取相应得partition数据即可;
下面插入一段说一下Spark中netty block server的实现:
- NettyRpcEnv :: TransportContext-> createServer -> new TransportServer
- TransportServer中appRpcHandler就是上层处理逻辑,默认没有安全配置的情况下,bootstraps集合为空;
- TransportServer -> init 初始化bootstrap,其中childHandler定义了对请求的处理逻辑,即context.initializePipeline(ch, rpcHandler);
- TransportContext :: initializePipeLine 定义了处理请求的pipeline,pipeline中包括对req,rap的encoder,decoder,TransportChannelHandler;
- TransportChannelHandler :: channelRead0 根据message的不同,分别调用requestHandler和responseHandler进行处理,上层的RpcHandler就包含在RequestHandler中;
当reduce端读取数据的时候,ShuffleBlockFetcherIterator :: sendRequest 调用 NettyBlockTransferService :: fetchBlocks 调用OneForOneBlockFetcher::start 首先调用TransportClient :: sendRpcSync 发送OpenBlocks发送到上面提到的netty block server,然后发送ChunkFetchRequest,获取对应的chunk,这里面的chunk其实就是一个一个的block,一个(shuffleId, mapId, bucketId(reduceId))唯一确定一个block,也即下游RDD的一个partition;
shuffle-read其实是从上游executor以block为单位获取数据,这里就遇到了一个问题,如果数据分布不均匀,导致下游某个partition过大,即这个block过大,就会出现OOM,Netty会报错direct buffer out of memory;
上面说的OOM是Netty处理数据时堆外内存的OOM,如果限制使用堆外内存(为Executor增加配置-Dio.netty.noUnsafe=true,就可以让shuffle不使用堆外内存),会报堆内内存OOM,java.lang.OutOfMemoryError: Java heap space;
如何解决?
其实在对Block处理过程中,无论是Client端还是Server端,都是以ManagedBuffer来处理的,具体实现类有FileSegmentManagedBuffer,NettyManagedBuffer等,Server端收到请求之后,会将返回的Block封装在FileSegmentmanagedBuffer,这个类内部不cache数据,提供从文件中读取block data的方法,但是过rpc server时通过encoder会进行封装,从FIleChannel零拷贝写入SocketChannel,具体实现就是在MessageEncoder里面将FileSegmentBuffer converToNetty,其实生成时FileRegion,后面封装到MessageWithHeader也是FileRegion,写出到List<Object> out,Netty会调用FileRegion中的transferTo,将内容写到目标channel,写入是直接调用file.transfer,实现零拷贝;
所以是否可以尝试添加一个新的协议,在OneForOneBlockFetcher中,判断,如果一个block小于某值,比如100M,使用原来的方式fetch数据,否则,服务端收到请求之后返回数据流,客户端收到数据流之后,将数据写到本地文件,形成新的FileSegmentManagedBuffer,供后续处理,对比原来的实现,就是将客户端直接处理NettyManagedBuffer变成直接处理FileSegmentManagedBuffer;