Hadoop 3.2 环境搭建

2024年1月28日 397次阅读 来源: 春泥村雨

软件环境

  • java version “1.8.0_181”

  • Apache Hadoop 3.2.0

  • CentOS Linux release 7.4.1708 (Core)

查看 JDK 与 Hadoop 版本匹配

https://wiki.apache.org/hadoop/HadoopJavaVersions

1. Linux 相关设置

1.1 设置静态 IP

CentOS 7下面配置静态IP

https://www.linuxidc.com/Linux/2017-10/147449.htm

1.2 设置主机名与 IP 地址映射

修改主机名和 IP 地址映射

vi /etc/hostname，修改主机名（如，删掉原有内容，命名为 hadoop）
systemctl restart network，重启网卡
ping hadoop，ping 通证明成功

参考链接：
https://blog.csdn.net/sheldonharris/article/details/81287450
https://blog.csdn.net/q18810146167/article/details/62224082
https://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_043_hostname.html

1.3 免密码 ssh 设置

ssh-keygen -t rsa，然后一路回车即可
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys，复制到公共密钥中
ssh localhost，测试

http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#%E7%9B%AE%E7%9A%84

扩展阅读：

DSA与RSA的区别：https://blog.csdn.net/buaaroid/article/details/49428653

1.4 防火墙设置

# 查看防火墙状态
systemctl status firewalld
systemctl is-active firewalld

# 启动防火墙
systemctl start firewalld

# 停止防火墙
systemctl stop firewalld

# 查看IP配置
more /etc/hosts

2. JDK 安装

编辑/etc/profile文件，在文件末尾添加以下内容

# 设置 jdk 环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_152
export PATH=$JAVA_HOME/bin:$PATH

参考链接：

https://www.jianshu.com/p/56671cf746ee

3. Hadoop 安装

3.1 下载 Hadoop

# 解压 Hadoop 到指定文件夹
tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop

# 查看 Hadoop 版本信息
cd /usr/hadoop/local/hadoop-3.2.0 
./bin/hadoop version

4. Hadoop 配置

4.1 建立目录

# 在 /usr/hadoop/ 目录下，建立 tmp、hdfs/name、hdfs/data 目录
mkdir /usr/local/hadoop/tmp 
mkdir /usr/local/hadoop/hdfs 
mkdir /usr/local/hadoop/hdfs/data 
mkdir /usr/local/hadoop/hdfs/name

4.2 设置环境变量

# 设置环境变量
vi /etc/profile

# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin

# 使环境变量生效
source /etc/profile

# CentOS版本用
source ~/.bash_profile

4.3 修改 Hadoop 配置文件

配置以下 5 个文件：

hadoop-3.2.0/etc/hadoop/hadoop-env.sh
hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml

4.3.1 hadoop-env.sh

# The java implementation to use.

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_152

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

另一种配置用户：
start-dfs.sh、stop-dfs.sh

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh、stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4.3.2 core-site.xml

<configuration>
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>

注：

  1. name 节点用 fs.defaultFS，不建议使用 fs.default.name；
  2. hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果 hdfs-site.xml 中不配置 namenode 和 datanode 的存放位置，默认就放在如下路径中。
NameNode
dfs.name.dir
预设值：${hadoop.tmp.dir}/dfs/name

DataNode
dfs.data.dir
预设值：${hadoop.tmp.dir}/dfs/data

参考链接：
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml
https://blog.csdn.net/scgaliguodong123_/article/details/44498173

4.3.3 hdfs-site.xml

<configuration> 
   <property>
       <name>dfs.replication</name>
       <value>1</value>
       <description>副本个数，配置默认是3,应小于datanode机器数量</description>
   </property>
</configuration>

4.3.4 mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.3.5 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5. Hadoop 启动及测试

5.1 格式化 namenode

cd /usr/local/hadoop/hadoop-3.2.0
./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

5.2 启动 Hadoop

cd /usr/local/hadoop/hadoop-3.2.0/sbin
./start-all.sh

5.3 验证启动是否成功

jps

出现如下进程，启动成功

NodeManager
Jps
DataNode
NameNode
SecondaryNameNode
ResourceManager

参考链接：
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)
https://blog.csdn.net/coffeeandice/article/details/78879151

5.4 浏览器访问管理页面

Namenode information: http://hadoop1:9870

All Applications: http://hadoop1:8088

HDFS NameNode web interface: http://hadoop1:8042

6. MapReduce 测试自带实例 wordcount

6.1 创建测试文件

6.2 上传测试文件到 hdfs

# 查看 hdfs 上的目录
hadoop fs -ls /
# 创建input目录，源数据的存放地
hadoop fs -mkdir /input
# 如果有output目录，删除；把结果集输出到这里，事先不能存在
hadoop fs -rm -r /output
# 把提前准备好的文本文件上传到 hdfs 的 /input 目录
hadoop fs -put /home/hadoop/data/*.txt /input

6.3 执行程序 WordCount

cd /usr/local/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.2.0.jar wordcount /input /output

# 查看 hdfs 上 /output 生成的结果
hadoop fs -ls /output
# 输出词频统计结果
hadoop fs -cat /output/part-r-00000

注：

MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法

https://blog.csdn.net/qq_41684957/article/details/81710190

参考链接：

https://blog.csdn.net/qq_32941881/article/details/81382330

用浏览器不能访问hadoop集群！！！！

https://blog.csdn.net/w3045872817/article/details/74204604

通过页面验证hadoop是否安装成功的方法

https://blog.csdn.net/tsundere_ning/article/details/79590871

执行shell脚本报错 ‘\357\273\277’: command not found 解决办法

https://blog.csdn.net/joeyon1985/article/details/39345939

https://huoding.com/2011/05/14/78

hadoop3.0.0没有conf文件夹怎么办？？

https://www.imooc.com/qadetail/241583?t=386596

    原文作者：春泥村雨
    原文地址: https://www.jianshu.com/p/de4d56433848
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞