hadoop 2.9 +vmware 完全分布式环境搭建
环境概要
Linux:Ubuntu 16.04
hadoop:Hadoop 2.9.0
jdk:1.8.0
vmware:14.0 pro
第一部分Linux环境安装
第一步配置Vmware NAT网络
vmware虚拟机的配置,主要是网络配置,选择NAT网络,Ubuntu在我的电脑上不需要配置网络,所以这一步跳过
第二步Vmware安装Linux操作系统
1.关闭防火墙
chkconfig iptables off
2.关闭selinux
vim /etc/sysconfig/selinux
修改为
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled #修改这个地方
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
2.hostname修改(永久)
vim /etc/sysconfig/network
NETWORKING=yes #使用网络
HOSTNAME=hadoop00 #设置主机名
使用vim修改 vim /etc/hosts
hosts: 192.168.100.10
3.免密码登录
4.创建工作目录
5.安装jdk-配置环境变量
a.官网下载JDK文件:JDK下载
选择对应的JDK,此处为jdk-8u151-linux-x64.tar.gz
b.创建一个文件夹sudo mkdir /java
c.将文件解压至该文件夹
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /java
d.配置jdk的环境变量
sudo gedit /etc/profile
在末尾加入以下语句
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:\$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/java/jdk1.8.0_121
e.修改完成之后保存关闭,并输入以下命令使环境变量立即生效
source /etc/profile
f.输入java -version
,显示JDK版本说明恭喜你,环境变量配置正确,继续下一步
模式名称 | 各个模块占用的JVM进程数 | 各个模块运行在几个机器数上 |
---|---|---|
本地模式 | 1个 | 1个 |
伪分布式模式 | N个 | 1个 |
完全分布式模式 | N个 | N个 |
HA完全分布式 | N个 | N个 |
6.Hadoop本地模式安装
模式名称 | 各个模块占用的JVM进程数 | 各个模块运行在几个机器数上 |
---|---|---|
本地模式 | 1个 | 1个 |
伪分布式模式 | N个 | 1个 |
完全分布式模式 | N个 | N个 |
HA完全分布式 | N个 | N个 |
1.下载Hadoop安装包Hadoop Download
解压到/home/hadoop
2.修改配置文件
增加环境变量-java-hadoop
a.在系统环境变量中添加hadoop的PATH
b.在/hadoop/etc的数个文件中添加java的PATH
包括
yarn-env.sh
mapred-env.sh
hadoop-env.sh
c.配置hadoop环境
包括
yarn-site.xml
hdfs-site.xml
core-site.xml
source一下,立刻见效
vmware克隆虚拟机2份
关闭虚拟机后,点击管理-克隆-创建完整克隆
重复克隆一次,两个虚拟机分别命名为slave1.slave2
分发到子机器
启动start-dsf,yarn
启动yarn的网页host:http://localhost:8088/cluster