搭建Spark集群(三)——搭建Hadoop集群环境

上一次分享已经把CentOS 7 系统安装到Master虚拟机上,下面就是安装JDK,搭建Hadoop集群,如果在安装时,网络环境没有配置好,可以参照下面配置网络环境来进行设置

1 添加hadoop用户

安装时,只添加了root用户,而后面需要用到ssh免密码通信,为了避免暴漏太多了权限,我们可以新建一个名为hadoop的用户
#添加hadoop用户
useradd hadoop
passwd hadoop
(按照提示输入密码)

2 配置网络环境

2.1 关闭防火墙

 systemctl status firewalld.service  --查看防火墙状态

《搭建Spark集群(三)——搭建Hadoop集群环境》

 systemctl stop firewalld.service  --关闭防火墙
 systemctl disable firewalld.service  --永久关闭防火墙
 systemctl status firewalld.service  --再查看防火墙状

《搭建Spark集群(三)——搭建Hadoop集群环境》

2.2 设置静态IP地址

CentOS 7最小化安装是没有ifconfig指令的,而是采用ip指令,想继续使用ifconfig指令需要自己安装:

 yum upgrade
 yum install net-tools

ip指令与ifconfig的对照可参考下图:

《搭建Spark集群(三)——搭建Hadoop集群环境》

使用ip指令,查看网络连接情况,输入ip link指令,可查看网络连接情况

《搭建Spark集群(三)——搭建Hadoop集群环境》

修改配置文件,设定固定IP地址
切换到root账户下

  cd /etc/sysconfig/network-scripts/
  vi ifcfg-enp0s3

把IP地址设为192.160.1.160(自己预先想好每台虚拟机的IP方案)

  HWADDR=08:00:27:51:74:6A  --根据每台虚拟机的MAC地址设置
  TYPE=Ethernet
  BOOTPROTO=static  --static表示固定IP地址
  DEFROUTE=yes
  IPV4_FAILURE_FATAL=no
  IPV6INIT=yes
  IPV6_AUTOCONF=yes
  IPV6_DEFROUTE=yes
  IPV6_FAILURE_FATAL=no
  NAME=enp0s3
  UUID=ed8d2360-aaee-4a86-ace2-fc531df48970  --每台虚拟机都有自己的UUID
  ONBOOT=yes 
  IPADDR0=192.168.1.160  --设置固定IP地址
  PREFIX0=24
  GATEWAY0=192.168.1.1  --
  DNS1=2**.9*.1**.3*  --DNS根据自己网络来设置
  IPV6_PEERDNS=yes
  IPV6_PEERROUTES=yes      

2.3 使用WinSCP、Xshell工具

设定好固定IP后,就可以通过XShell和WinSCP工具来远程访问这台虚拟机了,其中XShell是一个终端工具类似于Putty(根据个人喜好来选择也行),WinSCP工具可以直接上传文件到虚拟机上,方便在windows 7里下载相关的安装文件,然后上传到虚拟机里。使用方法很简单,新建连接后,输入IP地址即可,这里是输入192.168.1.160,其他配置不需要修改

《搭建Spark集群(三)——搭建Hadoop集群环境》

确定后输入帐号密码即可登录。WinSCP的使用类似,同样输入IP地址、帐号以及密码后,即可访问,然后可以直接上传东西,使用非常方便

3 安装JDK

可通过下面的命令查看现在的系统是否已经安装了jdk,如果安装了,可以卸载后,从官网下载安装最新的JDK,在我写这篇文章时,最新的JDK是jdk-8u45版本,我这下载的是jdk-8u45-linux-x64.rpm,下载下来后,用WinSCP上传即可

3.1 查看和卸载已安装的JDK

首先切换到root用户。通过这个命令可查看现在系统已经安装的JDK(如果无安装,则无结果显示)rpm -qa | grep jdk

《搭建Spark集群(三)——搭建Hadoop集群环境》

卸载已经安装的jdk可通过这一命令
rpm -e --nodeps jdk-1.7.0_79-fcs.x86_64

3.2 安装最新的JDK

进入jdk安装包所在目录

《搭建Spark集群(三)——搭建Hadoop集群环境》

增加rpm的可执行权限并执行rpm安装jdk

 chmod +x jdk-8u45-linux-x64.rpm
 rpm -ivh jdk-8u45-linux-x64.rpm

《搭建Spark集群(三)——搭建Hadoop集群环境》

一般情况下,jdk都是安装到
/usr/java目录下

《搭建Spark集群(三)——搭建Hadoop集群环境》

出现上图所示表示已经安装成功,接下来就是对java环境变量进行配置

3.3 配置JAVA环境变量

编辑/etc/profile文件,这里使用vim命令进行编辑(前面都是用vi,但发现vi的显示效果不是很好,所以后面安装了vim,安装方法可自行百度查看)

 vim /etc/profile
 #在文件最后添加一下内容:
 export JAVA_HOME=/usr/java/jdk1.7.0_79
 export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
 export PATH=$PATH:$JAVA_HOME/bin
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 export JAVA_HOME JAVA_BIN PATH CLASSPATH

添加完后按Esc键退出编辑状态,接着输入:wq进行保存,返回后,可输入source /etc/profile使其立即生效,同时通过命令java -version检查是否安装设置成功

《搭建Spark集群(三)——搭建Hadoop集群环境》

4 安装配置Hadoop2.6.0

进入hadoop-2.6.0.tar.gz文件所在目录,解压文件,并把文件移动到/opt目录下(我的hadoop-2.6.0.tar.gz文件是在/home/hadoop/tools目录下,可以根据自己的实际情况cd到文件所在目录)

 cd /home/hadoop/tools
 tar -xvzf hadoop-2.6.0.tar.gz
 mv hadoop-2.6.0 /opt
 cd /opt/
 ##赋予hadoop用户修改hadoop-2.6.0的权限
 chown -R hadoop:hadoop hadoop-2.6.0

4.1 配置hadoop环境变量

编辑/etc/profile文件,在末尾添加如下两行:

 export HADOOP_HOME=/opt/hadoop-2.6.0
 export PATH=$PATH:$HADOOP_HOME/bin

添加完后,使用source /etc/profile命令,是其立即生效

4.2 添加hdfs和tmp文件夹

进入hadoop所在目录cd /opt/hadoop-2.6.0

 mkdir hdfs
 mkdir tmp
 cd hdfs
 mkdir data
 mkdir name

4.3 修改hadoop配置文件

修改hadoop的配置文件主要包括下面几个

  • hadoop-env.sh
  • yarn-env.sh
  • mapred-env.sh
  • slaves
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml

未完待续。。。

    原文作者:cyfloel
    原文地址: https://www.jianshu.com/p/b110761db0bc
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞