windows 下安装和运行 hadoop

windows下安装hadoop,直接去官网采用简单暴力的方法:

1、下载hadoop的安装包:http://hadoop.apache.org/->左边点Releases->点mirror site->点http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下载hadoop-2.9.0.tar.gz;

2、解压安装包:将下载包解压到指定目录,并添加环境变量;解压出来一个目录:D:\hadoop-2.9.0,将bin路径配置到环境变量中。然后http://download.csdn.net/detail/wuxun1997/9841472下载相关工具类,直接解压后把文件丢到D:\hadoop-2.9.0\bin目录中去,将其中的hadoop.dll在c:/windows/System32下也丢一份;

3、去D:\hadoop-2.9.0\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去:

core.site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4、接下来处理一个环境变量的问题,进入到etc\hadoop目录下,编辑hadoop-env.cmd  修改JAVA_HOME目录为你自己的jdk的路径;注意,如果路径中安装在Program Files目录下,名称用\PROGRA~1\,否则中间的空格会导致路径失效。

5、进入到bin目录,运行hdfs namenode -format

6、进入sbin目录:start-all.cmd

    原文作者:<虎口脱险>
    原文地址: https://www.cnblogs.com/ocean-sky/p/8376574.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞