CentOS 7 集群部署 Hadoop 2.7.3

2019年6月8日 186次阅读 来源: Minty_
一、 说明

学习过程中顺便记录下来，方便更多人使用，初学错误请指正。

二、 安装虚拟机（本文采用CentOS 7）

1. 本文采用CetnOS7安装部署
  2. jdk1.8
  3. Hadoop 2.7.3

hostnameip
master10.10.1.3
slave110.10.1.4
三、 安装jdk，配置防火墙，SSH
  1. 修改hostname
    centos7 修改hostname 与centos6.5有较大差异。
    将10.10.1.3作为master机器，10.10.1.4作为slave1机器。
[hadoop@slave1 .ssh]$ hostnamectl set-hostname slave1
  1. 修改hosts文件
    [hadoop@master ~]$ vim /etc/hosts
    如果没有vim命令请执行 yum install -y vim 安装
10.10.1.3   master
10.10.1.4   slave1
#追加到hosts文件最后，两台机器都要添加。
  1. 安装jdk
    3.1 卸载系统自带openjdk
    3.1.1. 卸载系统内置jdk命令如下：
    rpm -qa | grep java

    这时会列出系统中已经存在的jdk版本名称。
    3.1.2. 使用卸载命令进行卸载：

rpm -e --nodeps jdk相关名称

《CentOS 7 集群部署 Hadoop 2.7.3》

3.2 jdk安装
3.2.1. 下载jdk版本到home目录
3.2.2. 解压安装,解压安装命令如下：

rpm -ivh rpm文件名称

3.2.3. 执行完成，代表安装成功，默认安装目录为：

/usr/java/jdk1.8.0_91

3.3 配置环境变量
3.3.1. rpm安装成功后使用 java -version 是可以查看出已经安装的版本：

《CentOS 7 集群部署 Hadoop 2.7.3》

3.3.2. 为了保险起见还是需要在root用户与hadoop 用户下配置profile文件，输入下面命令：

vim /etc/profile

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

切换用户：su hadoop,并执行命令：

vim ~/.bashrc

在文章末尾追加

export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

到此环境变量配置完成。

  1. 配置ssh免密登陆
    4.1. 生成密钥
      [hadoop@master ~]$ ssh-keygen -t rsa

输上面命令后一路回车，可在当前用户目录下生成.ssh文件，每台机器都要设置。

《CentOS 7 集群部署 Hadoop 2.7.3》

4.2. 合并公钥到authorized_keys文件，在Master服务器，进入.ssh目录，通过SSH命令合并

[hadoop@master ~]$  cat id_rsa.pub>> authorized_keys

4.3. slave1节点增加master免密登陆

[hadoop@master ~]$  ssh-copy-id hadoop@10.10.1.4

4.4. 测试ssh登陆

《CentOS 7 集群部署 Hadoop 2.7.3》

登陆成功，设置完成。

  1. 关闭防火墙
    因为hadoop需要开放端口太多，这里暂时将防火墙关闭。关闭防火墙必须在root用户下，使用下面的命令：
#关闭防火墙
[root@master ~]$  systemctl stop firewalld.service
#关闭开机自启动
[root@master ~]$  systemctl disable firewalld.service
四、 安装Hadoop
  1. 下载并解压到/usr/local/hadoop 目录下，并将hadoop目录赋权给hadoop用户。
[root@master ~]$  chown -R haddop:hadoop /usr/local/hadoop/
  1. 创建数据存放目录
[hadoop@master ~]$  cd /usr/local/hadoop
[hadoop@master ~]$  mkdir tmp
[hadoop@master ~]$  mkdir -p hdfs/data hdfs/name
  1. 修改core-site.xml文件
<configuration>
    <property>
      <name>fs.default.name</name>
      <value>hdfs://master:9000</value>
    </property>
    <property>
      <name>io.file.buffer.size</name>
      <value>131072</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>file:/home/hadoop/tmp</value>
      <description>Abase for other temporary directories.</description>   
     </property>
</configuration>
  1. 修改hdfs-site.xml文件
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>linux-node1:9001</value>
      <description># 通过web界面来查看HDFS状态 </description>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name> 
      <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>  
      <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
      <description># 每个Block有2个备份</description>
    </property>
    <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>
</configuration>
  1. 修改mapred-site.xml
      这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数。
<configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
    </property>
</configuration>
  1. 配置节点yarn-site.xml
<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address</name>
      <value>master:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.scheduler.address</name>
      <value>master:8030</value>
    </property>
    <property>
      <name>yarn.resourcemanager.resource-tracker.address</name>
      <value>master:8031</value>
    </property>
    <property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>master:8033</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>master:8088</value>
    </property>
    <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>8192</value>
    </property>
</configuration>
  1. 配置hadoop环境变量
[root@master ~]$  vim /etc/profile
#将之前修改的java 环境变量替换掉。
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[hadoop@master ~]$  vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_91
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

到此配置结束。

至于有些教程中写道要修改hadoop-env.sh、yarn-env.sh的JAVA_HOME，经过测试只要设置了root 跟 hadoop 用户的profile，与 .bashrc 文件就不存在此问题。

  1. 复制hadoop 配置文件到 slave1 节点。
[hadoop@master ~]$  scp -r /usr/local/hadoop/  slave1:/home/hadoop/
五、 启动集群
  1. 在master节点使用hadoop用户初始化NameNode
[hadoop@master ~]$ hdfs namenode –format
#执行后控制台输出，看到 Exiting with status 0 表示格式化成功。
  1. 启动hadoop
#启动hdfs
[hadoop@master ~]$ start-dfs.sh
#启动yarn分布式计算框架
[hadoop@master ~]$ start-yarn.sh
  1. 启动jobhistory服务，查看mapreduce状态
[hadoop@master ~]$ mr-jobhistory-daemon.sh start historyserver

  1. 查看HDFS分布式文件系统状态

    《CentOS 7 集群部署 Hadoop 2.7.3》

  2. 验证是否启动成功

[hadoop@master ~]$ jps

《CentOS 7 集群部署 Hadoop 2.7.3》

《CentOS 7 集群部署 Hadoop 2.7.3》

  1. web页面查看hadoop集群状态

    《CentOS 7 集群部署 Hadoop 2.7.3》
    《CentOS 7 集群部署 Hadoop 2.7.3》

    注意端口号不同

    《CentOS 7 集群部署 Hadoop 2.7.3》

到此启动成功

    原文作者：Minty_
    原文地址: https://www.jianshu.com/p/1448d1550c8b
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞