Spark 开发环境搭建(四)-Hadoop 集群创建

四、Hadoop 集群创建

根据前几节的设置,我们已经对一台机器完成了从网络到hadoop等一些列的配置,为便于测试hadoop 集群,本节将介绍如何利用virtual box clone工具创建相同的机器。

1. 利用virtual box manager clone 机器

在VBox的安装目录下有一个VBoxManage.exe程序,利用该工具可以clone机器,具体的使用方式如下:

VBoxManage.exe  旧机器.vdi 新机器.vdi

以上命令就完了一台机器的clone,再次执行上述命令clone出另外两台机器slave1和slave2。VBoxManage.exe还有其他很多实用的功能,磁盘扩充等,需要时请自行查阅。

2. slave机器配置

2.1 虚拟创建

上一步中我们只是clone了virtualbox的vdi文件,那么我们可以利用他们新建两个虚拟机,新建过程和之前创建虚拟的过程一样,唯一的区别是在新建虚拟硬盘的时候,我们选择已有的vdi文件,就是刚才clone处理的虚拟机文件。

《Spark 开发环境搭建(四)-Hadoop 集群创建》 加载已有vdi文件

然后点击创建,新的虚拟机就创建完成,之后直接点击启动即可。

2.2 机器配置

该步骤的配置以slave1为例,目前clone机器的名字仍然是master,稍后会做修改

2.2.1 修改机器静态IP,

用ifconfig命令查看机器ip,此时机器应该有了一个初始的ip,例如

《Spark 开发环境搭建(四)-Hadoop 集群创建》 网络IP 情况

我们所要修改的是第二网卡所对应IP,

cd /etc/sysconfig/network-scripts/
sudo vim ifcfg-enp0s8   // 修改第二个网卡配置配置文件

因为机器是从master clone过来的,机器上所有的配置都与master,因此只需做少许修改


TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s8
UUID=3f19ccd2-06a3-4052-b370-37ad9178a6d4
ONBOOT=yes
ADDR=192.168.56.108    // 修改为当前的IP即可
DNS=255.255.255.0

这样ip配置就已完成,重启网络

service network restart

如果失败,则直接重启机器。

2.2.2 修改机器名字

修改机器名字为slave1

sudo hostnamectl -sethostname "slave1"   // 设置主机名字
hostnamectl status --transient  // 查看临时主机名字
hostnamectl status --static      
2.2.3 将机器ip加入hosts文件

由于之前在配置master的时候就已经将slave机器对应的ip加入到host,所以不需要添加什么,只需要查看当前静态ip是否和hosts文件中的一致即可,若不一致,则修改为当前ip。
测试验证,

ssh localhost     // 第一次登录,会提示是否记录秘钥,输入yes即可,以后免密码登录
exit
ssh slave1

以上完成slave1的配置,同样方法完成对slave2的配置。测试三台机器之间是否可以无密码ssh登录,若出现问题请查看ssh 秘钥是否加入到authorized_keys中。
hadoop集群机器我们已经全部搭建好了,入下

《Spark 开发环境搭建(四)-Hadoop 集群创建》 集群

3. hadoop集群测试

3.1 格式化master namenode 并启动测试

cd /hadoop-2.7.2
./bin/hdfs namenode -formate
./sbin/start-all.sh  // 启动 dfs 和yarn

出现下面的界面说明启动成功:

《Spark 开发环境搭建(四)-Hadoop 集群创建》 hadoop 集群启动

查看master 的jps

8034 ResourceManager
8291 Jps
7880 SecondaryNameNode

查看slave的jps

2535 NodeManager
2431 DataNode
2655 Jps

查看hadoop进程管理页面

http://master:8088  // master 改成你的master ip

出现如下页面:

《Spark 开发环境搭建(四)-Hadoop 集群创建》 hadoop进程管理页面

此时你的hadoop集群已经启动,下面我们会开始spark和scala的安装。

转载请注明出处:
http://www.jianshu.com/p/e8066c14a99b

    原文作者:kakasyw
    原文地址: https://www.jianshu.com/p/e8066c14a99b
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞