在hadoop上运行python程序

2023年10月26日 252次阅读 来源: 应君江湖不相忘

在hadoop上运行python程序

准备文件

  1. 测试文件test.txt (/home/hadoop/input/test.txt)
  2. mapper.py (/home/hadoop/input/code/mapper.py)
  3. reducer.py (/home/hadoop/input/code/reducer.py)

以上文件的存放路径可以自己定义，这里是以我的目前操作环境来进行教程，请自行对照替换路径
我的HADOOP_HOME是/home/hadoop/hadoop-1.0.4

1.配置好你的hadoop分布式集群

2.请在你的系统变量中配置好HADOOP_HOME为hadoop文件夹根目录

3.启动hdfs和mapreducer

start-all.sh

4.将你用作测试的输入文件存放到hdfs上（当然是在master主机上操作啦）

#c创建input文件夹存放测试文件
hadoop dfs -mkdir hdfs://master:9000/user/hadoop/input
#将本地的文件发送到hdfs
hadoop dfs -copyFromLocal /home/hadoop/input/test.txt hdfs://master:9000/user/hadoop/input

5.开始运行你的python程序

#hadoop1.x版本
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \
-mapper 'python mapper.py'   -file /home/hadoop/code/mapper.py\
-reducer 'python reducer.py'  -file /home/hadoop/code/reducer.py \
-input hdfs://master:9000/input/* -output hdfs://master:9000/output

$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar

它是个java程序，先运行这个程序，它会创建进程运行运行你的python程序，hadoop能运行所有语言的程序都依赖于它.

-mapper ‘python mapper.py’

mapper后面跟的是个命令，用于启动你的程序

-file /home/hadoop/code/mapper.py

file指明了你的程序所在的路径，以便分发到所有的slave机器上运行

-input hdfs://master:9000/input/*

input指明了输入文件的路径，它会读取input目录下的所有文件，由标准输入的方式传送给你的程序

-output hdfs://master:9000/output

output指明的输出结果的存放路径，它会自动创建该路径，所以请不要指向一个已经存在的文件夹，否则会报错

http://www.cnblogs.com/joyeecheung/p/3756207.html

http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

HIVE

使用命令schematool -initSchema -dbType mysql初始化mysql数据库 hive

    原文作者：应君江湖不相忘
    原文地址: https://www.jianshu.com/p/4c57e7e3f02f
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞