hadoop安装文档

hadoop安装文档

a、安装前准备步骤

1、禁用防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
2、配置hostname
  • vim /etc/hostname
vim /etc/hostname
每台机器起相应的名字
例如:10.12.34.137
在/etc/hostname文件中写入sunsk01即可

3、修改hosts文件
vim /etc/hosts
//添加下面内容
10.12.34.137   sunsk01
10.12.34.138   sunsk02
10.12.34.139   sunsk03
10.12.34.140   sunsk04
10.12.34.141   sunsk05
4、JDK环境
  • jdk 1.8 及以上
  • JDK rpm下载链接
  • <u><font color = “red”>注意:卸载自带OPEN JDK</font></u>
  • rpm -qa | grep jdk
  • rpm -e --nodeps ****
5、ssh免密登录
  • ssh-keygen -t rsa
  • cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  • scp ~/.ssh/authorized_keys user@IP:~/.ssh/
6、修改环境变量
vim ~/.bash_profile

//添加hadoop环境变量:

export HADOOP_HOME=/app/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

//让配置生效

source ~/.bash_profile
7、创建hadoop存储目录
//在一台namenode上创建即可
mkdir /data01/namenode
//在所有datanode上创建即可
mkdir /data01/datanode
  • 没有权限时
//注意:没有权限使用root修改一下权限
user:root
//使用命令注意data01下是否有其他用户的文件
//如果有单个修改文件

命令:chown -R eoi:eoi /data01

  • b、hadoop配置文件配置

// hadoop配置文件目录

cd /app/hadoop-2.7.3/etc/hadoop

-1、修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131
  • 2、配置core-site.xml
vim core-site.xml
//在<configuration></configuration>增加hdfs的端口信息
//增加的内容如下:

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://sunsk01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data01/dfs/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
  • 3、配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
//在<configuration></configuration>增加内容:

   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>sunsk01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>sunsk01:19888</value>
    </property>
  • 4、配置hdfs-site.xml
vim hdfs-site.xml
//在<configuration></configuration>增加内容:

   <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data01/dfs/nn</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data01/dfs/dn</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>sunsk01:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

  • 5、配置yarn-site.xml
vim yarn-site.xml
//在<configuration></configuration>增加内容:

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>sunsk01:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>sunsk01:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>sunsk01:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>sunsk01:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>sunsk01:8088</value>
    </property>

  • 6、配置slaves
vim slaves
//下面是所有hadoop datanode的主机名
用下面内容覆盖slaves文件

sunsk01
sunsk02
sunsk03
  • 将hadoop配置好的包发送到每台datanode节点
//发送命令如下

scp -r /app/hadoop-2.7.3 sunsk02:/app
scp -r /app/hadoop-2.7.3 sunsk03:/app

c、启动hadoop

  • 格式化namenode
//特别注意:只在namenode节点执行操作,不需要再dananone机器上执行任何操作

hadoop namenode -format

  • 启动所有hadoop守护进程
//特别注意:只在namenode节点执行操作,不需要再dananone机器上执行任何操作

//因为配置了环境变量,所以在任何目录都可以执行start-all.sh脚本

start-all.sh

  • d、检验是否安装成功

  • 1、namenode节点检测是否成功
命令:   jps

// jps后会出现一下五个进程

DataNode
NodeManager
ResourceManager
SecondaryNameNode
NameNode
  • 2、datanode节点检测
命令:   jps

//jps后会有两个进程
NodeManager
NameNode

进入:http://IP:50070
查看是否能进入

e、常用维护命令

jps 查看进程是否存在
http://IP:50070    是否能进去
执行:hadoop fs -ls /
是否报错,出现文件夹即为安装成功

f、常见问题


启动后会有进程缺少
查看hadoop下的log日志
解决问题后删除每台机器的/data01/dfs
重新格式化,重新启动,重复C步骤

g、卸载

rm -rf /data01/dfs
rm -rf /app/hadoop-2.7.3
    原文作者:孙双凯_06e
    原文地址: https://www.jianshu.com/p/1be2ca085f59
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞