在hadoop上运行python程序
准备文件
- 测试文件test.txt (/home/hadoop/input/test.txt)
- mapper.py (/home/hadoop/input/code/mapper.py)
- reducer.py (/home/hadoop/input/code/reducer.py)
以上文件的存放路径可以自己定义,这里是以我的目前操作环境来进行教程,请自行对照替换路径
我的HADOOP_HOME是/home/hadoop/hadoop-1.0.4
1.配置好你的hadoop分布式集群
2.请在你的系统变量中配置好HADOOP_HOME为hadoop文件夹根目录
3.启动hdfs和mapreducer
start-all.sh
4.将你用作测试的输入文件存放到hdfs上(当然是在master主机上操作啦)
#c创建input文件夹存放测试文件
hadoop dfs -mkdir hdfs://master:9000/user/hadoop/input
#将本地的文件发送到hdfs
hadoop dfs -copyFromLocal /home/hadoop/input/test.txt hdfs://master:9000/user/hadoop/input
5.开始运行你的python程序
#hadoop1.x版本
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \
-mapper 'python mapper.py' -file /home/hadoop/code/mapper.py\
-reducer 'python reducer.py' -file /home/hadoop/code/reducer.py \
-input hdfs://master:9000/input/* -output hdfs://master:9000/output
$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar
它是个java程序,先运行这个程序,它会创建进程运行运行你的python程序,hadoop能运行所有语言的程序都依赖于它.
-mapper ‘python mapper.py’
mapper后面跟的是个命令,用于启动你的程序
-file /home/hadoop/code/mapper.py
file指明了你的程序所在的路径,以便分发到所有的slave机器上运行
-input hdfs://master:9000/input/*
input指明了输入文件的路径,它会读取input目录下的所有文件,由标准输入的方式传送给你的程序
-output hdfs://master:9000/output
output指明的输出结果的存放路径,它会自动创建该路径,所以请不要指向一个已经存在的文件夹,否则会报错
http://www.cnblogs.com/joyeecheung/p/3756207.html
http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/
HIVE
使用命令schematool -initSchema -dbType mysql初始化mysql数据库 hive