Hadoop Streaming自带参数解析

2023年2月4日 260次阅读 来源: analanxingde

排序、hash分组、压缩格式、内存设定
-Option：

  1. -input：输入文件路径
  2. -output：输出文件路径
  3. -mapper：用户自己写的mapper程序，可以是可执行文件或者脚本
  4. -reducer：用户自己写的reducer程序，可以是可执行文件或者脚本
  5. -file：打包文件到提交的作业中，可以是mapper或者reducer要用的输入文件，如配置文件，字典等，将客户端本地文件打成jar包上传到HDFS然后分发到计算节点。
  6. -cacheFile hdfs://host:port/path/to/file#linkname 分发HDFS文件到本地。在计算节点缓存文件，Streaming程序通过./linkname在本地访问文件
  7. -cacheArchive <file> Optional 指定一个上传到HDFS的jar文件，这个jar文件会被自动解压缩到当前工作目录下
  8. -partitioner：用户自定义的partitioner程序
  9. -combiner：用户自定义的combiner程序（必须用java实现）
  10. -cluster name：在本地Hadoop集群与一个或多个远程集群间切换
  11. -additionalconfspec specfile ：用一个类似于hadoop-site.xml的XML文件保存所有配置，从而不需要用多个”-D name=value”类型的选项单独为每个配置变量赋值
  12. -numReduceTasks <num> Optional reduce任务个数
  13. -combiner Combiner聚合类，对map的输出进行本地聚合，对map端的输出 先做一次合并 ，以 减少在map和reduce节点之间的数据传输量 ，以 提高网络IO性能 ，是MapReduce的一种 优化手段之一
  14. -cmdenv <n>=<v> 传给mapper和reducer的环境变量
  15. -mapdebug mapper 失败时运行的debug程序
  16. -reducedebug reducer失败时运行的debug程序
  17. -verbose Optional 详细输出模式
  18. -D作业配置
    mapred.job.name作业名
    mapred.job.priority 作业优先级
    mapred.job.map.capacity 最多同时运行map任务数
    mapred.job.reduce.capacity 最多同时运行reduce任务数
    hadoop.job.ugi 作业执行权限
    mapred.map.tasks map任务个数
    mapred.reduce.tasks reduce任务个数
    mapred.job.groups 作业可运行的计算节点分组
    mapred.task.timeout 任务没有响应（输入输出）的最大时间
    stream.non.zero.exit.is.failure=true #任务失败重启
    mapred.compress.map.output map的输出是否压缩
    mapred.map.output.compression.codec map的输出压缩方式
    stream.map.output.field.separator 指定map输出时的分割符
    stream.num.map.output.key.fields=4 指定map输出按照分隔符切割后，key所占有的列数
    mapred.output.compress reduce的输出是否压缩
    mapred.output.compression.type：压缩类型，有NONE, RECORD和BLOCK，默认值RECORD。
    mapred.output.compression.codec reduce的输出压缩方式, 默认值org.apache.hadoop.io.compress.DefaultCodec
    stream.reduce.output.field.separator 指定reduce输出时的分割符
    stream.num.reduce.output.key.fields 指定输出按照分隔符切割后，key所占有的列数
    map.output.key.field.separator=. #分桶分隔符：指定map输出<key,value>对之后，其中key内部的分割符
    num.key.fields.for.partition=2 #指定分桶时，按照分隔符切割后，用于分桶key所占的列数
    mapred.job.reduce.memory.mb #每个map Task需要的内存量
    mapred.job.reduce.memory.mb #每个reduce Task需要的内存量
    mapreduce.job.reduce.slowstart.completedmaps 当Map Task完成的比例达到该值后才会为Reduce Task申请资源，默认是0.05
    常见的例子：
 按照前四位进行排序，前两列进行分组
 -D stream.map.output.field.separator=. \
 -D stream.num.map.output.key.fields=4 \
 -D map.output.key.field.separator=. \
 -D mapreduce.partition.keypartitioner.options=-k1,2 \

merge合并输出的小文件们

set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
    原文作者：analanxingde
    原文地址: https://www.jianshu.com/p/ce0c14190f6f
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞