执行Pig脚本时,会发出以下某些日志:
2014-10-29 16:07:03,658 [MainThread] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - detailed locations: M: TRACKED[155,10],null[-1,-1],null[-1,-1],TRACKED_USERS[156,16],null[-1,-1],HAS_CONV[163,11],HAS_CONV[164,11],null[-1,-1],REACHED[159,10],REACHED[160,10] C: R:
据我所知,在M:部分之后列出的所有别名都是基于映射器的位置,C:应该是组合器,R:应该是reducers.
我应该如何解释括号中的值,例如159和10:REACHED [159,10]?他们是否向我提供了有关正在处理的输入拆分的提示?
最佳答案 它以别名[line,offset]的形式提供有关Pig脚本别名的信息,以及它们与已转换MR作业的不同阶段(M:map,C:combiner,R:reducer)的关系.
参考文献: