Mapreduce报错：Split metadata size exceeded 10000000

2024年4月19日 222次阅读 来源: MapReduce

报错信息：

Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.   
Aborting job job_201205162059_1073852 at   
org.apache.hadoop.mapreduce.split.SplitMetaInfoReader.readSplitMetaInfo(SplitMetaInfoReader.java:48) at   
org.apache.hadoop.mapred.JobInProgress.createSplits(JobInProgress.java:817) at   
org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:711) at   
org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4028) at   
org.apache.hadoop.mapred.EagerTaskInitializationListener$InitJob.run(EagerTaskInitializationListener.java:79) at   
java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at   
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:662)

 

出错原因：该job的job.splitmetainfo文件大小超过限制；

 

1. job.splitmetainfo，该文件记录split的元数据信息，job split —-> HDFS block && slave node

  存放路径位于：${hadoop.tmp.dir}/mapred/staging/${user.name}/.staging/jobId/

 

2. 参数mapreduce.jobtracker.split.metainfo.maxsize控制该文件的最大大小，默认为：10000000（10M）

    原文作者：MapReduce
    原文地址: https://www.cnblogs.com/wangxiaowei/p/3343298.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞