MapReduce的配置详解 - hadoop1.2.1

2023年7月6日 128次阅读 来源: MapReduce

hadoop官方文档 http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

  1. 关闭防火墙 service iptables stop

  2. 修改 vi /home/hadoop-1.2/conf/mapred-site.xml

    配置主JobTracker

    <property>
                <name>mapred.job.tracker</name>
            <value>hnd1:9001</value>
    </property>

配置TaskTracker

    最好运行在HDFS的DataNode上 默认也是在DataNode上 所以不需要修改配置

    把配置文件复制到其他机器上
    scp ./mapred-site.xml root@hnd2:/home/hadoop-1.2/conf/
    scp ./mapred-site.xml root@hnd3:/home/hadoop-1.2/conf/

  3. 启动
    cd /home/hadoop-1.2/bin/
    ./start-all.sh

  4. jps查看启动进程
    访问
    NameNode – http://localhost:50070/
    JobTracker – http://localhost:50030/

  5. hadoop执行jar文件
    创建输入目录
    ./hadoop fs -mkdir /usr/input

    ./hadoop jar /home/hadoop/package/wordcount.jar com.hadoop.mr.JobRun

  6. 在目录C:WindowsSystem32driversetc中
    修改文件hosts

    添加
    192.168.40.101 hnd1
    192.168.40.102 hnd2
    192.168.40.103 hnd3
    192.168.40.104 hnd4

    原文作者：MapReduce
    原文地址: https://segmentfault.com/a/1190000005710676
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞