Hadoop Streaming自带参数解析

排序、hash分组、压缩格式、内存设定
-Option:

  1. -input:输入文件路径
  2. -output:输出文件路径
  3. -mapper:用户自己写的mapper程序,可以是可执行文件或者脚本
  4. -reducer:用户自己写的reducer程序,可以是可执行文件或者脚本
  5. -file:打包文件到提交的作业中,可以是mapper或者reducer要用的输入文件,如配置文件,字典等,将客户端本地文件打成jar包上传到HDFS然后分发到计算节点。
  6. -cacheFile hdfs://host:port/path/to/file#linkname 分发HDFS文件到本地。在计算节点缓存文件,Streaming程序通过./linkname在本地访问文件
  7. -cacheArchive <file> Optional 指定一个上传到HDFS的jar文件,这个jar文件会被自动解压缩到当前工作目录下
  8. -partitioner:用户自定义的partitioner程序
  9. -combiner:用户自定义的combiner程序(必须用java实现)
  10. -cluster name:在本地Hadoop集群与一个或多个远程集群间切换
  11. -additionalconfspec specfile :用一个类似于hadoop-site.xml的XML文件保存所有配置,从而不需要用多个”-D name=value”类型的选项单独为每个配置变量赋值
  12. -numReduceTasks <num> Optional reduce任务个数
  13. -combiner Combiner聚合类,对map的输出进行本地聚合,对map端的输出 先做一次合并 ,以 减少在map和reduce节点之间的数据传输量 ,以 提高网络IO性能 ,是MapReduce的一种 优化手段之一
  14. -cmdenv <n>=<v> 传给mapper和reducer的环境变量
  15. -mapdebug mapper 失败时运行的debug程序
  16. -reducedebug reducer失败时运行的debug程序
  17. -verbose Optional 详细输出模式
  18. -D作业配置
    mapred.job.name作业名
    mapred.job.priority 作业优先级
    mapred.job.map.capacity 最多同时运行map任务数
    mapred.job.reduce.capacity 最多同时运行reduce任务数
    hadoop.job.ugi 作业执行权限
    mapred.map.tasks map任务个数
    mapred.reduce.tasks reduce任务个数
    mapred.job.groups 作业可运行的计算节点分组
    mapred.task.timeout 任务没有响应(输入输出)的最大时间
    stream.non.zero.exit.is.failure=true #任务失败重启
    mapred.compress.map.output map的输出是否压缩
    mapred.map.output.compression.codec map的输出压缩方式
    stream.map.output.field.separator 指定map输出时的分割符
    stream.num.map.output.key.fields=4 指定map输出按照分隔符切割后,key所占有的列数
    mapred.output.compress reduce的输出是否压缩
    mapred.output.compression.type:压缩类型,有NONE, RECORD和BLOCK,默认值RECORD。
    mapred.output.compression.codec reduce的输出压缩方式, 默认值org.apache.hadoop.io.compress.DefaultCodec
    stream.reduce.output.field.separator 指定reduce输出时的分割符
    stream.num.reduce.output.key.fields 指定输出按照分隔符切割后,key所占有的列数
    map.output.key.field.separator=. #分桶分隔符:指定map输出<key,value>对之后,其中key内部的分割符
    num.key.fields.for.partition=2 #指定分桶时,按照分隔符切割后,用于分桶key所占的列数
    mapred.job.reduce.memory.mb #每个map Task需要的内存量
    mapred.job.reduce.memory.mb #每个reduce Task需要的内存量
    mapreduce.job.reduce.slowstart.completedmaps 当Map Task完成的比例达到该值后才会为Reduce Task申请资源,默认是0.05
    常见的例子:
 按照前四位进行排序,前两列进行分组
 -D stream.map.output.field.separator=. \
 -D stream.num.map.output.key.fields=4 \
 -D map.output.key.field.separator=. \
 -D mapreduce.partition.keypartitioner.options=-k1,2 \

merge合并输出的小文件们

set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge
    原文作者:analanxingde
    原文地址: https://www.jianshu.com/p/ce0c14190f6f
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞