spark遇到的坑坑坑

2019年6月8日 261次阅读来源: 仩渧哋寵

问题1：内存溢出
WARN TaskSetManager:66 – Lost task 0.1 in stage 2.1 (TID 334, hbasenode2, executor 2): FetchFailed(BlockManagerId(3, hbasenode3, 43497, None), shuffleId=6, mapId=1, reduceId=0, message=
org.apache.spark.shuffle.FetchFailedException: Failed to connect to hbasenode3/..13.198:43497
问题描述：在替换文件运行任务时出现的错，而将以前的老代码替换上去却依旧出错
在深入查找中发现了内存溢出的问题
解决思路：扩大内存配置，在启动命令和 yarn的配置中添加
在代码方面尽量减少使用将数据汇集到同一个内存中的操作如groupBy

    原文作者：仩渧哋寵
    原文地址: https://www.jianshu.com/p/7bef4e132158
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。