初学hadoop,windows下安装

2019年3月23日 274次阅读 来源: DFS

先bb一下,woc开始使用Cygwin来模拟linux配置hadoop,然后各种错误,找着找着发现原来2.0+的hadoop可以直接在windows下配置.当时真是1w头神兽飞过.

下载hadoop

  • 下载地址
    http://hadoop.apache.org

  • 下载步骤
    《初学hadoop,windows下安装》

    《初学hadoop,windows下安装》

    选择清华开源镜像站
    《初学hadoop,windows下安装》

    选择你喜欢的版本. stable是稳定版

    《初学hadoop,windows下安装》

  • 解压

    放在你喜欢的文件夹下

  • 关于winutils的下载
    还需要下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin

配置hadoop

  • 首先配置环境变量
    这个不用多说,在path中添加路径${hadoopHome}\bin,例如:”D:\hadoop\bin”,不要忘了加”;”与前面的隔开

  • 配置hadoop文件
    所有的配置文件都在D:\hadoop\etc\hadoop的目录下,使用Notepad++/记事本/..打开.

    • 文件1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路径不要有空格

      set JAVA_HOME=D:\RequiredTools\Java\jdk8u45

    • 文件2:D:\hadoop\etc\hadoop\core-site.xml

        <configuration>
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9000</value>  
　　 </property>     
  </configuration>

    • 文件3:D:\hadoop\etc\hadoop\hdfs-site.xml

      <configuration>
<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
</property> 
</configuration>

    • 文件4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是复制mapred-site.xml.template,去掉template

      <configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>
    • 文件5:D:\hadoop\etc\hadoop\yarn-site.xml 
      <configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

启动hadoop

进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs 
start-yarn.cmd  //再启动yarn 
//或者
//start-all.cmd //相当于以上的两条命令

《初学hadoop,windows下安装》

启动结果
在地址栏输入http://localhost:8088
《初学hadoop,windows下安装》
在地址栏输入http://localhost:50070
《初学hadoop,windows下安装》

安装完成
关于一些配置说明我也不是很清楚,先配置上运行起来再去慢慢弄懂

配置说明:http://blog.csdn.net/xuechongyang/article/details/8691518

参考:http://blog.csdn.net/rav009/article/details/70214788

    原文作者：DFS
    原文地址: https://blog.csdn.net/xrui_java7/article/details/70231221
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞