使用 hadoop streaming 编程的几点经验和教训

2023年6月14日 321次阅读 来源: starays

hadoop streaming 是 hadoop 的一个多语言编程框架。关于 streaming 的使用方法可以参见 streaming 的官方文档。一些比较高级的用法，例如加载词典，使用计数器等，也可以在网上找到答案。下面是在使用 streaming 的时候踩到的一些坑，记录一下。

1，生成本地的 tmp file

hadoop streaming 工作的时候会将要上传的文件打包并上传。在客户端机器上，hadoop client 会将 -file 选项指定的文件拷贝到某个临时目录下，并且进行打包程序。所以，要求当前用户需要对这个临时目录具有写权限。常常遇到的错误是，当前用户对这个目录没有写权限，在提交任务的时候会报告如下的错误：

Exception in thread “main” java.io.IOException: permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.createTempFile(File.java:1879)
at org.apache.hadoop.util.RunJar.main(RunJar.java:115)

这个临时目录一般在hadoop 配置文件中的 core-site.xml 和 mapred-site.xml 中指定。一般来说，保证hadoop.tmp.dir和mapred.temp.dir所指向的目录具有写权限就足够了。如果不想修改 core-site.xml 和 mapred-site.xml，可以在提交 streaming job 的时候通过-D选项来指定：

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.2.0-w1.2.0.jar \
    -Dhadoop.tmp.dir=~/tmp/ \
    -Dmapred.temp.dir=~/tmp/ \
    -mapper "cat"
    -reducer "wc"
    ....

2，多路输出并不是在每个版本都可用。

hadoop streaming 中 reducer 的输出文件类似：${outputDir}/part-******，其中 ***** 是 reducer 任务的任务号。但有的时候我们希望 reducer 能够输出到多路文件，例如，对于文件符合某个条件的，输出到 part-*****-A，其余的输出到 part-*****-B。

hadoop-v2-u7 的版本为 streaming 引入了两个多路输出的插件：SuffixMultipleTextOutputFormat和SuffixMultipleSequenceFileOutputFormat。如果要直接使用这两个插件，需要保证客户端和服务器上的 hadoop 版本均为 hadoop-v2-u7 或者更高。使用这两个插件的教程可以参见hadoop streaming实战：多路输出。
需要特别注意的一点是：很多 hadoop 发行版，即使是最近的发行版，也未必有这两个插件（比如 cloudera 的发行版——当然也许是我的版本还不够高）。确定有没有这两个插件的一种方法是看一下这个发行版的 API 文档有没有 org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat 这个类即可（或者直接查看 HADOOP_CLASSPATH）。
如果没有这个类，需要自己定制一个 MultipleTextOutputFormat（用java）。定制的方法可以参考hadoop多路输出。

3，/etc/fstab 为 noexec 挂载导致 permission denied

如果 streaming 的 mapper和 reducer 使用的是二进制文件，那么在 mapper 和 reducer 中常常需要这样调用：

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.2.0-w1.2.0.jar \
    -Dhadoop.tmp.dir=~/tmp/ \
    -Dmapred.temp.dir=~/tmp/ \
    -mapper "./mymapper" \
    -reducer "./myreducer" \
    -file "./mymapper" \
    -file "./myreducer" \
    ....

不幸的是，很多时候这样调用的时候往往会出现如下的错误：

Caused by: java.io.IOException: java.io.IOException: error=13, Permission denied
at java.lang.UNIXProcess.<init>(UNIXProcess.java:148)
at java.lang.ProcessImpl.start(ProcessImpl.java:65)
at java.lang.ProcessBuilder.start(ProcessBuilder.java:453)
… 24 more

这个往往是因为，streaming 需要把二进制文件分发到每台节点机器上，创建一个临时目录，把二进制文件放到这个临时目录里然后开始运行。这个临时目录一般在 hadoop 的数据磁盘上，通过 /etc/fstab 挂在到计算借点的机器，而很多时候为了安全起见，这个挂载常常指定了 noexec 的属性：

/home/disk4 ext4 noexec,nosuid,noatime 1 2 UUID=”0cbe17e7-4c00-4409-824c-d84e6a80fb5d” /home/disk5 ext4

解决这个问题的方法有：

  • 删除 noexec 属性；
  • 使用一个 shell 脚本包装一个 shell 脚本先将二进制文件拷贝到 /tmp 等目录，然后再执行：
#!/bin/sh
cp ./mymapper /tmp/
/tmp/mymapper

然后指定--mapper "sh mapper.sh"来提交任务。

    原文作者：starays
    原文地址: https://www.jianshu.com/p/a008af3253dc
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞