Hadoop2.9.0+VMware+ubuntu16.04完全分布式安装指南-超详细记录

hadoop 2.9 +vmware 完全分布式环境搭建
环境概要
Linux:Ubuntu 16.04
hadoop:Hadoop 2.9.0
jdk:1.8.0
vmware:14.0 pro

第一部分Linux环境安装

第一步配置Vmware NAT网络

vmware虚拟机的配置,主要是网络配置,选择NAT网络,Ubuntu在我的电脑上不需要配置网络,所以这一步跳过

第二步Vmware安装Linux操作系统

1.关闭防火墙

chkconfig iptables off

2.关闭selinux

vim /etc/sysconfig/selinux

修改为

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled #修改这个地方
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2.hostname修改(永久)

vim /etc/sysconfig/network
NETWORKING=yes  #使用网络
HOSTNAME=hadoop00  #设置主机名
使用vim修改 vim /etc/hosts
hosts: 192.168.100.10 

3.免密码登录

4.创建工作目录

5.安装jdk-配置环境变量

a.官网下载JDK文件:JDK下载
选择对应的JDK,此处为jdk-8u151-linux-x64.tar.gz
b.创建一个文件夹sudo mkdir /java
c.将文件解压至该文件夹
  tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java
d.配置jdk的环境变量
   sudo gedit /etc/profile
在末尾加入以下语句

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/java/jdk1.8.0_121

e.修改完成之后保存关闭,并输入以下命令使环境变量立即生效
source /etc/profile
f.输入java -version,显示JDK版本说明恭喜你,环境变量配置正确,继续下一步

模式名称各个模块占用的JVM进程数各个模块运行在几个机器数上
本地模式1个1个
伪分布式模式N个1个
完全分布式模式N个N个
HA完全分布式N个N个

6.Hadoop本地模式安装

模式名称各个模块占用的JVM进程数各个模块运行在几个机器数上
本地模式1个1个
伪分布式模式N个1个
完全分布式模式N个N个
HA完全分布式N个N个

1.下载Hadoop安装包Hadoop Download
解压到/home/hadoop
2.修改配置文件
增加环境变量-java-hadoop
a.在系统环境变量中添加hadoop的PATH

b.在/hadoop/etc的数个文件中添加java的PATH
包括
yarn-env.sh
mapred-env.sh
hadoop-env.sh

c.配置hadoop环境
包括
yarn-site.xml
hdfs-site.xml
core-site.xml
source一下,立刻见效

vmware克隆虚拟机2份
关闭虚拟机后,点击管理-克隆-创建完整克隆
重复克隆一次,两个虚拟机分别命名为slave1.slave2

分发到子机器

启动start-dsf,yarn

启动yarn的网页host:http://localhost:8088/cluster

    原文作者:吴凡Eric
    原文地址: https://www.jianshu.com/p/ba4467fab635
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞