Windows中安装hadoop2.7.3

最近频繁写MapReduce,测试代码需要打jar包上传到服务器上在进行测试,每次调试的时候很是费时费力,故写下该篇文章,对初学hadoop的人来说应该还有用

需要的物件

1.win7系统

2.Hadoop2.7.3对应的win下的工具

传送门1链接:http://pan.baidu.com/s/1dEWgxv7密码:1r9u

3.Hadoop2.7.3.tar.gz(请自行下载初始压缩包,从0到1一步步都会有的:-D)

动手干

1.解压你下载的Hadoop2.7.3.tar.gz到某个盘符下并改名Hadoop2.7.3-win

我的是在F:\jzz\hadoop-2.7.3-win如:

《Windows中安装hadoop2.7.3》 HADOOP_HOME里的内容(这里是我已经安装好的,仅供参考)

2.添加hadoop的环境变量(和Java jdk相似)

1)新建HADOOP_HOME,把你刚才解压到的路径写上

《Windows中安装hadoop2.7.3》 环境变量

1)在path后加上HADOOP_HOME变量

方法:;%HADOOP_HOME%\bin

《Windows中安装hadoop2.7.3》 加入系统环境变量

高度注意:\bin不要忘了哦

3.修改配置文件

配置文件的路径在hadoop-2.7.3-win\etc\hadoop下

这里的配置文件如果打不开的话,下载一个超文本编辑器,这里用Notepad++

(Notepad++可以各应用商店随便下,这里就不传了)

3.1修改core-site.xml配置文件

《Windows中安装hadoop2.7.3》 只配置这一个就行

3.2修改hdfs-site.xml配置文件

《Windows中安装hadoop2.7.3》 注意是”/”

3.3修改yarn-site.xml配置文件

《Windows中安装hadoop2.7.3》


配置两个参数就行

3.4修改mapred-site.xml配置文件

《Windows中安装hadoop2.7.3》 设置值为yarn

4.添加hadoop.all文件

解压传送门1中下载的文件,将hadoop.dll拷贝到

C盘Windows\system32下和%HADOOP_HOME%\sbin目录下

《Windows中安装hadoop2.7.3》 hadoop.dll文件

5.改变%HADOOP_HOME%\bin目录的内容

将传送门1中解压出来的bin文件下的所有内容都拷贝到%HADOOP_HOME%\bin目录下,重复的文件选择替换,如上图所示

至此,Windows中的hadoop就配置完了,有没有觉得很简单:-D

6.启动hadoop

Win+R键打开命令提示窗口,输入cmd回车

《Windows中安装hadoop2.7.3》 命令提示窗口

打开黑窗口,先进到%HADOOP_HOME%所在的哪个盘符(我这里是F盘,

命令>f:

注意:大小写均可)如下:

《Windows中安装hadoop2.7.3》 打开F盘

用cd命令进入到%HADOOP_HOME%\bin目录,并格式化namenode

命令>cd jzz\hadoop-2.7.3-win\bin

>hdfs namenode -format

《Windows中安装hadoop2.7.3》 格式化namenode

上一步格式化成功,没有报错可以启动hadoop了

命令>cd ..\sbin

>start-all.cmd

《Windows中安装hadoop2.7.3》 启动hadoop

执行完上步后黑窗口会自动弹出四个窗口分别启动namenode,datanode,resoucemanage和nodemanage

7.测试hadoop dfs

打开浏览器,输入http://localhost:8088即可看到

《Windows中安装hadoop2.7.3》 8088端口测试

输入http://localhost:50070点击utilities即可看到HDFS存储的文件目录

《Windows中安装hadoop2.7.3》 50070端口查看

至此,wondows中hadoop的安装就完成了,感兴趣的可以自己写个Wordcount测试MapReduce任务,用eclipse打成jar包执行。和Linux下测试的一样。

1.自己写的wordCount的MapReduce

传送门2链接:http://pan.baidu.com/s/1qXZNEPY密码:9sre

2.已经配置好的hadoop-2.7.3-win

传送门3链接:http://pan.baidu.com/s/1bpNDjOj密码:cmo6

有什么问题可留言,相互学习

    原文作者:青蓝莓
    原文地址: https://www.jianshu.com/p/7dec5b348540
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞