hadoop mapreduce的python代码运行

2023年9月23日 229次阅读 来源: 追风少年1899

在hadoop上运行python程序

准备文件

测试文件test.txt (/home/hadoop/input/test.txt)

mapper.py (/home/hadoop/input/code/mapper.py)

reducer.py (/home/hadoop/input/code/reducer.py)
以上文件的存放路径可以自己定义，这里是以我的目前操作环境来进行教程，请自行对照替换路径
我的HADOOP_HOME是/home/hadoop/hadoop-1.0.4

1.配置好你的hadoop分布式集群，请在你的系统变量中配置好HADOOP_HOME为hadoop文件夹根目录

2.启动hdfs和mapreducer

start-all.sh

3.将你用作测试的输入文件存放到hdfs上（当然是在master主机上操作啦）

#c创建input文件夹存放测试文件
hadoop dfs -mkdir hdfs://master:9000/user/hadoop/input
#将本地的文件发送到hdfs
hadoop dfs -copyFromLocal /home/hadoop/input/test.txt hdfs://master:9000/user/hadoop/input

4.开始运行你的python程序

#hadoop1.x版本
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \
-mapper 'python mapper.py'   -file /home/hadoop/code/mapper.py\
-reducer 'python reducer.py'  -file /home/hadoop/code/reducer.py \
-input hdfs://master:9000/input/* -output hdfs://master:9000/output

$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar
它是个java程序，先运行这个程序，它会创建进程运行运行你的python程序，hadoop能运行所有语言的程序都依赖于它.

-mapper ‘python mapper.py’
mapper后面跟的是个命令，用于启动你的程序

-file /home/hadoop/code/mapper.py
file指明了你的程序所在的路径，以便分发到所有的slave机器上运行

-input hdfs://master:9000/input/*
input指明了输入文件的路径，它会读取input目录下的所有文件，由标准输入的方式传送给你的程序

-output hdfs://master:9000/output
output指明的输出结果的存放路径，它会自动创建该路径，所以请不要指向一个已经存在的文件夹，否则会报错

参考网址：http://www.jianshu.com/p/4c57e7e3f02f

    原文作者：追风少年1899
    原文地址: https://www.jianshu.com/p/cbd549b5df02
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞