排序、hash分组、压缩格式、内存设定
-Option:
- -input:输入文件路径
- -output:输出文件路径
- -mapper:用户自己写的mapper程序,可以是可执行文件或者脚本
- -reducer:用户自己写的reducer程序,可以是可执行文件或者脚本
- -file:打包文件到提交的作业中,可以是mapper或者reducer要用的输入文件,如配置文件,字典等,将客户端本地文件打成jar包上传到HDFS然后分发到计算节点。
- -cacheFile hdfs://host:port/path/to/file#linkname 分发HDFS文件到本地。在计算节点缓存文件,Streaming程序通过./linkname在本地访问文件
- -cacheArchive <file> Optional 指定一个上传到HDFS的jar文件,这个jar文件会被自动解压缩到当前工作目录下
- -partitioner:用户自定义的partitioner程序
- -combiner:用户自定义的combiner程序(必须用java实现)
- -cluster name:在本地Hadoop集群与一个或多个远程集群间切换
- -additionalconfspec specfile :用一个类似于hadoop-site.xml的XML文件保存所有配置,从而不需要用多个”-D name=value”类型的选项单独为每个配置变量赋值
- -numReduceTasks <num> Optional reduce任务个数
- -combiner Combiner聚合类,对map的输出进行本地聚合,对map端的输出 先做一次合并 ,以 减少在map和reduce节点之间的数据传输量 ,以 提高网络IO性能 ,是MapReduce的一种 优化手段之一
- -cmdenv <n>=<v> 传给mapper和reducer的环境变量
- -mapdebug mapper 失败时运行的debug程序
- -reducedebug reducer失败时运行的debug程序
- -verbose Optional 详细输出模式
- -D作业配置
mapred.job.name作业名
mapred.job.priority 作业优先级
mapred.job.map.capacity 最多同时运行map任务数
mapred.job.reduce.capacity 最多同时运行reduce任务数
hadoop.job.ugi 作业执行权限
mapred.map.tasks map任务个数
mapred.reduce.tasks reduce任务个数
mapred.job.groups 作业可运行的计算节点分组
mapred.task.timeout 任务没有响应(输入输出)的最大时间
stream.non.zero.exit.is.failure=true #任务失败重启
mapred.compress.map.output map的输出是否压缩
mapred.map.output.compression.codec map的输出压缩方式
stream.map.output.field.separator 指定map输出时的分割符
stream.num.map.output.key.fields=4 指定map输出按照分隔符切割后,key所占有的列数
mapred.output.compress reduce的输出是否压缩
mapred.output.compression.type:压缩类型,有NONE, RECORD和BLOCK,默认值RECORD。
mapred.output.compression.codec reduce的输出压缩方式, 默认值org.apache.hadoop.io.compress.DefaultCodec
stream.reduce.output.field.separator 指定reduce输出时的分割符
stream.num.reduce.output.key.fields 指定输出按照分隔符切割后,key所占有的列数
map.output.key.field.separator=. #分桶分隔符:指定map输出<key,value>对之后,其中key内部的分割符
num.key.fields.for.partition=2 #指定分桶时,按照分隔符切割后,用于分桶key所占的列数
mapred.job.reduce.memory.mb #每个map Task需要的内存量
mapred.job.reduce.memory.mb #每个reduce Task需要的内存量
mapreduce.job.reduce.slowstart.completedmaps 当Map Task完成的比例达到该值后才会为Reduce Task申请资源,默认是0.05
常见的例子:
按照前四位进行排序,前两列进行分组
-D stream.map.output.field.separator=. \
-D stream.num.map.output.key.fields=4 \
-D map.output.key.field.separator=. \
-D mapreduce.partition.keypartitioner.options=-k1,2 \
merge合并输出的小文件们
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge