使用 hadoop streaming 编程的几点经验和教训

hadoop streaming 是 hadoop 的一个多语言编程框架。关于 streaming 的使用方法可以参见 streaming 的官方文档。一些比较高级的用法,例如加载词典,使用计数器等,也可以在网上找到答案。下面是在使用 streaming 的时候踩到的一些坑,记录一下。

1,生成本地的 tmp file

hadoop streaming 工作的时候会将要上传的文件打包并上传。在客户端机器上,hadoop client 会将 -file 选项指定的文件拷贝到某个临时目录下,并且进行打包程序。所以,要求当前用户需要对这个临时目录具有写权限。常常遇到的错误是,当前用户对这个目录没有写权限,在提交任务的时候会报告如下的错误:

Exception in thread “main” java.io.IOException: permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.createTempFile(File.java:1879)
at org.apache.hadoop.util.RunJar.main(RunJar.java:115)

这个临时目录一般在hadoop 配置文件中的 core-site.xml 和 mapred-site.xml 中指定。一般来说,保证hadoop.tmp.dirmapred.temp.dir所指向的目录具有写权限就足够了。如果不想修改 core-site.xml 和 mapred-site.xml,可以在提交 streaming job 的时候通过-D选项来指定:

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.2.0-w1.2.0.jar \
    -Dhadoop.tmp.dir=~/tmp/ \
    -Dmapred.temp.dir=~/tmp/ \
    -mapper "cat"
    -reducer "wc"
    ....

2,多路输出并不是在每个版本都可用。

hadoop streaming 中 reducer 的输出文件类似:${outputDir}/part-******,其中 ***** 是 reducer 任务的任务号。但有的时候我们希望 reducer 能够输出到多路文件,例如,对于文件符合某个条件的,输出到 part-*****-A,其余的输出到 part-*****-B。

hadoop-v2-u7 的版本为 streaming 引入了两个多路输出的插件:SuffixMultipleTextOutputFormatSuffixMultipleSequenceFileOutputFormat。如果要直接使用这两个插件,需要保证客户端和服务器上的 hadoop 版本均为 hadoop-v2-u7 或者更高。使用这两个插件的教程可以参见hadoop streaming实战:多路输出
需要特别注意的一点是:很多 hadoop 发行版,即使是最近的发行版,也未必有这两个插件(比如 cloudera 的发行版——当然也许是我的版本还不够高)。确定有没有这两个插件的一种方法是看一下这个发行版的 API 文档有没有 org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat 这个类即可(或者直接查看 HADOOP_CLASSPATH)。
如果没有这个类,需要自己定制一个 MultipleTextOutputFormat(用java)。定制的方法可以参考hadoop多路输出

3,/etc/fstab 为 noexec 挂载导致 permission denied

如果 streaming 的 mapper和 reducer 使用的是二进制文件,那么在 mapper 和 reducer 中常常需要这样调用:

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.2.0-w1.2.0.jar \
    -Dhadoop.tmp.dir=~/tmp/ \
    -Dmapred.temp.dir=~/tmp/ \
    -mapper "./mymapper" \
    -reducer "./myreducer" \
    -file "./mymapper" \
    -file "./myreducer" \
    ....

不幸的是,很多时候这样调用的时候往往会出现如下的错误:

Caused by: java.io.IOException: java.io.IOException: error=13, Permission denied
at java.lang.UNIXProcess.<init>(UNIXProcess.java:148)
at java.lang.ProcessImpl.start(ProcessImpl.java:65)
at java.lang.ProcessBuilder.start(ProcessBuilder.java:453)
… 24 more

这个往往是因为,streaming 需要把二进制文件分发到每台节点机器上,创建一个临时目录,把二进制文件放到这个临时目录里然后开始运行。这个临时目录一般在 hadoop 的数据磁盘上,通过 /etc/fstab 挂在到计算借点的机器,而很多时候为了安全起见,这个挂载常常指定了 noexec 的属性:

/home/disk4 ext4 noexec,nosuid,noatime 1 2 UUID=”0cbe17e7-4c00-4409-824c-d84e6a80fb5d” /home/disk5 ext4

解决这个问题的方法有:

  • 删除 noexec 属性;
  • 使用一个 shell 脚本包装一个 shell 脚本先将二进制文件拷贝到 /tmp 等目录,然后再执行:
#!/bin/sh
cp ./mymapper /tmp/
/tmp/mymapper

然后指定--mapper "sh mapper.sh"来提交任务。

    原文作者:starays
    原文地址: https://www.jianshu.com/p/a008af3253dc
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞