Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站：http://hadoop.apache.org/

4.1 本地运行模式

4.1.1 官方grep案例

1）创建在hadoop-2.7.2文件下面创建一个input文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ mkdir input

2）将hadoop的xml配置文件复制到input

[atguigu@hadoop101 hadoop-2.7.2]$ cp etc/hadoop/*.xml input

3）执行share目录下的mapreduce程序

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’

4）查看输出结果

[atguigu@hadoop101 hadoop-2.7.2]$ cat output/*

4.1.2 官方wordcount案例
1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput

2）在wcinput文件下创建一个wc.input文件

[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput

[atguigu@hadoop101 wcinput]$ touch wc.input

3）编辑wc.input文件

|

[atguigu@hadoop101 wcinput]$ vi wc.input

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

atguigu

atguigu

保存退出：：wq

|

4）回到hadoop目录/opt/module/hadoop-2.7.2

5）执行程序：

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6）查看结果：

[atguigu@hadoop101 hadoop-2.7.2]$ cat wcoutput/part-r-00000

atguigu 2

hadoop 2

mapreduce 1

yarn 1

4.2 伪分布式运行模式

4.2.1 启动HDFS并运行MapReduce程序

1）分析：

（1）配置集群

（2）启动、测试集群增、删、查

（3）执行wordcount案例

2）执行步骤

（1）配置集群

（a）配置：hadoop-env.sh

Linux系统中获取jdk的安装路径：

[atguigu@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

修改JAVA_HOME 路径：

|

export JAVA_HOME=/opt/module/jdk1.8.0_144

|

（b）配置：core-site.xml

|

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop101:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（c）配置：hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

|（2）启动集群

（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b）启动NameNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

（c）启动DataNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群

（a）查看是否启动成功

[atguigu@hadoop101 hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps

（b）查看产生的log日志

当前目录：/opt/module/hadoop-2.7.2/logs

[atguigu@hadoop101 logs]$ ls

hadoop-atguigu-datanode-hadoop.atguigu.com.log

hadoop-atguigu-datanode-hadoop.atguigu.com.out

hadoop-atguigu-namenode-hadoop.atguigu.com.log

hadoop-atguigu-namenode-hadoop.atguigu.com.out

SecurityAuth-root.audit

[atguigu@hadoop101 logs]# cat hadoop-atguigu-datanode-hadoop101.log

（c）web端查看HDFS文件系统

<u>http://192.168.1.101:50070/dfshealth.html#tab-overview</u>

注意：如果不能查看，看如下帖子处理

<u>http://www.cnblogs.com/zlslch/p/6604189.html</u>

（4）操作集群

（a）在hdfs文件系统上创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2]bin/hdfs dfs -mkdir -p /user/atguigu/input （b）将测试文件内容上传到文件系统上 [atguigu@hadoop101 hadoop-2.7.2] bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input/
（c）查看上传的文件是否正确
[atguigu@hadoop101 hadoop-2.7.2]bin/hdfs dfs -ls /user/atguigu/input/ [atguigu@hadoop101 hadoop-2.7.2] bin/hdfs dfs -cat /user/atguigu/ input/wc.input
（d）运行mapreduce程序
[atguigu@hadoop101 hadoop-2.7.2]bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output （e）查看输出结果 命令行查看： [atguigu@hadoop101 hadoop-2.7.2] bin/hdfs dfs -cat /user/atguigu/output/*
浏览器查看

image.png

（f）将测试文件内容下载到本地

[atguigu@hadoop101 hadoop-2.7.2]
hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/ （g）删除输出结果 [atguigu@hadoop101 hadoop-2.7.2] hdfs dfs -rm -r /user/atguigu/output

4.2.2 YARN上运行MapReduce 程序

1）分析：

（1）配置集群yarn上运行

（2）启动、测试集群增、删、查

（3）在yarn上执行wordcount案例

2）执行步骤

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置yarn-site.xm

image.png

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

[atguigu@hadoop101 hadoop]
mv mapred-site.xml.template mapred-site.xml [atguigu@hadoop101 hadoop] vi mapred-site.xml

image.png

image.png

2）启动集群

（a）启动前必须保证namenode和datanode已经启动

（b）启动resourcemanager

[atguigu@hadoop101 hadoop-2.7.2]
sbin/yarn-daemon.sh start resourcemanager （c）启动nodemanager [atguigu@hadoop101 hadoop-2.7.2] sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

image.png

（b）删除文件系统上的output文件

[atguigu@hadoop101 hadoop-2.7.2]
bin/hdfs dfs -rm -R /user/atguigu/output （c）执行mapreduce程序 [atguigu@hadoop101 hadoop-2.7.2] bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

（d）查看运行结果

[atguigu@hadoop101 hadoop-2.7.2]
bin/hdfs dfs -cat /user/atguigu/output/*  4.2.3 配置历史服务器 1）配置mapred-site.xml [atguigu@hadoop101 hadoop] vi mapred-site.xml

image.png

2）查看启动历史服务器文件目录：

[atguigu@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr

mr-jobhistory-daemon.sh

3）启动历史服务器

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4）查看历史服务器是否启动

[atguigu@hadoop101 hadoop-2.7.2]$ jps

5）查看jobhistory

<u>http://192.168.1.101:19888/jobhistory</u>

4.2.****4**** 配置日志的聚集

日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。

开启日志聚集功能步骤：

（1）配置yarn-site.xml

[atguigu@hadoop101 hadoop]$ vi yarn-site.xml

image.png

（2）关闭nodemanager 、resourcemanager和historymanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

（3）启动nodemanager 、resourcemanager和historymanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

（4）删除hdfs上已经存在的hdfs文件

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output

（5）执行wordcount程序

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/inp ut /user/atguigu/output

（6）查看日志

<u>http://192.168.1.101:19888/jobhistory</u>

image.png

image.png

image.png

4.2.5 配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：存放在hadoop相应的jar包中

[core-default.xml]

hadoop-common-2.7.2.jar/ core-default.xml

[hdfs-default.xml]

hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

[mapred-default.xml]

hadoop-mapreduce-client-core-2.7.2.jar/ mapred-default.xml

（2）自定义配置文件：存放在
HADOOP_HOME/etc/hadoop core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 4.3 完全分布式运行模式 分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 4.3.1 虚拟机准备 详见3.1章。 4.3.2 编写集群分发脚本xsync 1）scp:secure copy 安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。 （2）案例实操 （a）将hadoop101中/opt/module目录下的软件拷贝到hadoop102上。 [atguigu@hadoop101 /] scp -r /opt/module/* atguigu@hadoop102:/opt/module

（b）将hadoop101服务器上的/opt/module目录下的软件拷贝到hadoop103上。

[atguigu@hadoop103 opt]
scp -r atguigu@hadoop101:/opt/module/* hadoop103:/opt/module （c）在hadoop103上操作将hadoop101中/opt/module目录下的软件拷贝到hadoop104上。 [atguigu@hadoop103 opt] scp -r hadoop101:/opt/module/* hadoop104:/opt/module

2） rsync

rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）查看rsync使用说明

man rsync | more

（2）基本语法

rsync -rvl
pdir/fname
user@hadoophost:
pdir 命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径  （4）案例实操 把本机/opt/software目录同步到hadoop102服务器的root用户下的/opt/目录 [atguigu@hadoop101 opt] rsync -rvl /opt/software/* hadoop102:/opt/software/

3）脚本需求分析：循环复制文件到所有节点的相同目录下。

（1）原始拷贝：

rsync -rvl /opt/module root@hadoop103:/opt/

（2）期望脚本：

xsync要同步的文件名称

（3）在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行。

4）脚本实现：

（1）在/home/atguigu目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

[atguigu@hadoop102 ~]
mkdir bin [atguigu@hadoop102 ~] cd bin/

[atguigu@hadoop102 bin]
touch xsync [atguigu@hadoop102 bin] vi xsync

image.png

（2）修改脚本 xsync 具有执行权限

[atguigu@hadoop102 bin]
chmod 777 xsync （3）调用脚本形式：xsync 文件名称 [atguigu@hadoop102 bin] xsync /home/atguigu/bin

4.3.3 集群配置

1）集群部署规划

image.png

2）配置集群

（1）核心配置文件

core-site.xml

[atguigu@hadoop102 hadoop]
vi core-site.xml  （2）hdfs配置文件 hadoop-env.sh [atguigu@hadoop102 hadoop] vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

[atguigu@hadoop102 hadoop]
vi hdfs-site.xml  （3）yarn配置文件 yarn-env.sh [atguigu@hadoop102 hadoop] vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml

[atguigu@hadoop102 hadoop]
vi yarn-site.xml  （4）mapreduce配置文件 mapred-env.sh [atguigu@hadoop102 hadoop] vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

[atguigu@hadoop102 hadoop]
cp mapred-site.xml.template mapred-site.xml [atguigu@hadoop102 hadoop] vi mapred-site.xml

image.png

3）在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]
xsync /opt/module/hadoop-2.7.2/ 4）查看文件分发情况 [atguigu@hadoop103 hadoop] cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

4.3.4 集群单点启动

（0）如果集群是第一次启动，需要格式化NameNode

[atguigu@hadoop102 hadoop-2.7.2]
hadoop namenode -format （1）在hadoop102上启动NameNode [atguigu@hadoop102 hadoop-2.7.2] hadoop-daemon.sh start namenode

[atguigu@hadoop102 hadoop-2.7.2]
jps 3461 NameNode 3531 Jps （2）在hadoop102、hadoop103以及hadoop104上分别启动DataNode [atguigu@hadoop102 hadoop-2.7.2] hadoop-daemon.sh start datanode

[atguigu@hadoop102 hadoop-2.7.2]
jps 3461 NameNode 3608 Jps 3561 DataNode [atguigu@hadoop103 hadoop-2.7.2] hadoop-daemon.sh start datanode

[atguigu@hadoop103 hadoop-2.7.2]
jps 3190 DataNode 3279 Jps [atguigu@hadoop104 hadoop-2.7.2] hadoop-daemon.sh start datanode

[atguigu@hadoop104 hadoop-2.7.2]
jps 3237 Jps 3163 DataNode 4.3.5 SSH无密登录配置 1）配置ssh （1）基本语法 ssh 另一台电脑的ip地址 （2）ssh连接时出现Host key verification failed的解决方法 [atguigu@hadoop102 opt] ssh 192.168.1.103

The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.

RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting (yes/no)?

Host key verification failed.

（3）解决方案如下：直接输入yes

2）无密钥配置

（1）免密登录原理

image.png

（2）生成公钥和私钥：

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

3）.ssh文件夹下（~/.ssh）的文件功能解释

（1）known_hosts ：记录ssh访问过计算机的公钥(public key)

（2）id_rsa ：生成的私钥

（3）id_rsa.pub ：生成的公钥

（4）authorized_keys ：存放授权过得无密登录服务器公钥

4.3.****6**** 集群测试

1）配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves

[atguigu@hadoop102 hadoop]$ vi slaves

hadoop102

hadoop103

hadoop104

2）启动集群

（1）如果集群是第一次启动，需要格式化NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（2）启动HDFS：

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[atguigu@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[atguigu@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[atguigu@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

（3）启动yarn

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

（4）web端查看SecondaryNameNode

（a）浏览器中输入：<u>http://hadoop104:50090/status.html</u>

（b）查看SecondaryNameNode信息。

image.png

3）集群基本测试

（1）上传文件到集群

上传小文件

[atguigu@hadoop102 hadoop-2.7.2]
hadoop fs -mkdir -p /user/atguigu/input [atguigu@hadoop102 hadoop-2.7.2] hadoop fs -put wcinput/wc.input /user/atguigu/input

上传大文件

[atguigu@hadoop102 hadoop-2.7.2]
bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu/input （2）上传文件后查看文件存放在什么位置 查看HDFS文件存储路径 [atguigu@hadoop102 subdir0] pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

查看HDFS在磁盘存储文件内容

[atguigu@hadoop102 subdir0]
cat blk_1073741825 hadoop yarn hadoop mapreduce atguigu atguigu （3）拼接 -rw-rw-r–. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836 -rw-rw-r–. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta -rw-rw-r–. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837 -rw-rw-r–. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta [atguigu@hadoop102 subdir0] cat blk_1073741836>>tmp.file

[atguigu@hadoop102 subdir0]
cat blk_1073741837>>tmp.file [atguigu@hadoop102 subdir0] tar -zxvf tmp.file

（4）下载

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz ./

4）性能测试集群

（1）写海量数据

（2）读海量数据

4.3.7 集群启动/停止方式

1）各个服务组件逐一启动/停止

（1）分别启动/停止hdfs组件

hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode

（2）启动/停止yarn

yarn-daemon.sh start|stop resourcemanager|nodemanager

2）各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止hdfs

start-dfs.sh

stop-dfs.sh

（2）整体启动/停止yarn

start-yarn.sh

stop-yarn.sh

3）全部启动/停止集群（不建议使用）

start-all.sh

stop-all.sh

4.3.8 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

配置时间同步实操：

1）时间服务器配置（必须root用户）

（1）检查ntp是否安装

[root@hadoop102 桌面]# rpm -qa|grep ntp

ntp-4.2.6p5-10.el6.centos.x86_64

fontpackages-filesystem-1.41-1.1.el6.noarch

ntpdate-4.2.6p5-10.el6.centos.x86_64

（2）修改ntp配置文件

[root@hadoop102 桌面]# vi /etc/ntp.conf

修改内容如下

a）修改1（设置本地网络上的主机不受限制。）

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2（设置为不采用公共的服务器）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

    c）添加3（添加默认的一个内部时钟数据，使用它为局域网用户提供服务。）

server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改/etc/sysconfig/ntpd 文件
[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
（4）重新启动ntpd
[root@hadoop102 桌面]# service ntpd status
ntpd 已停
[root@hadoop102 桌面]# service ntpd start
正在启动 ntpd： [确定]
（5）执行：
[root@hadoop102 桌面]# chkconfig ntpd on
2）其他机器配置（必须root用户）
（1）在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103 hadoop-2.7.2]# crontab -e
编写脚本
*/10 * * * * /usr/sbin/ntpdate hadoop102
（2）修改任意机器时间
[root@hadoop103 hadoop]# date -s “2017-9-11 11:11:11”
（3）十分钟后查看机器是否与时间服务器同步
[root@hadoop103 hadoop]# date

本教程由尚硅谷教育大数据研究院出品，如需转载请注明来源，欢迎大家关注尚硅谷公众号（atguigu）了解更多。