Hadoop--HDFS 搭建

2023年4月8日 393次阅读 来源: 莫茫Link

1. 环境

1.0 准备

配置详情如下：

主机名IP安装组件
ceph-1192.168.16.4master（NameNode, SecondaryNameNode） & slave(DataNode)
ceph-2192.168.16.5slave(DataNode)
ceph-3192.168.16.6slave(DataNode)

注意：
由于之前这三台部署了ceph，所以主机名就叫这个了。。。我们ignore他们的名字就好。

1.1 主机名配置

修改每台主机的主机名，执行命令

[root@xxxx ~]# hostnamectl set-hostname [hostname]

这里hostname就是ceph-1, ceph-2, ceph-3
注：执行后其实已经生效，此终端左侧xxxx还没有显示主机名，新开一个终端即可看到

1.2 java

下载jdk包
之后，vim /etc/profile

JAVA_HOME=/home/java/jdk1.8.0_131
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH

source /etc/profile 使其生效
没完，建立软连接

ln -s /home/java/jdk1.8.0_131/bin/java /usr/bin/java

1.3 无密登录

在节点ceph-1执行

[root@ceph-1 ~]# ssh-keygen -t rsa

一路回车即可
之后，执行

[root@ceph-1 ~]# ssh-copy-id root@ceph-2
[root@ceph-1 ~]# ssh-copy-id root@ceph-3

2. HDFS配置

#下载
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
#解压
tar zxvf hadoop-2.9.1.tar.gz -C /opt/

配置环境变量，修改配置文件vim /etc/profile,添加

export HADOOP_HOME=/opt/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile 使其生效

2.1 修改hdfs配置文件(在master上)

进入目录：/opt/hadoop-2.9.1/etc/hadoop/

2.1.1 core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.9.1/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ceph-1:9000</value>
    </property>
</configuration>

参数说明：

  • fs.default.name指定NameNode的IP地址和端口号
  • hadoop.tmp.dir指定hadoop数据存储的临时文件夹

2.1.2 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop-2.9.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop-2.9.1/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>ceph-1:9001</value>
        <description>secondarynamenode的web地址</description>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
       <description>提供web访问hdfs的权限</description>
    </property>
</configuration>

参数说明：

  • dfs.replication指定HDFS的备份数为3
  • dfs.name.dir指定namenode节点的文件存储目录
  • dfs.data.dir指定datanode节点的文件存储目录

2.1.3 mapred-site.xml

#复制template文件
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>master:9010</value>
    </property>
</configuration>

说明：

  • 貌似配置这个jobtracker没什么实际作用

2.1.4 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>ceph-1</value>
    </property>
</configuration>

注意：

  • slave节点要配置yarn.resourcemanager.hostname属性，否则NodeManager启动不起来，会报找不到service的bug

2.1.5 slaves

#将slave的hostname写入
ceph-1
ceph-2
ceph-3

2.2 修改hdfs配置文件(在slave上)

只需要将刚才修改好的配置文件复制到slave节点即可

scp -r /opt/hadoop-2.9.1/ ceph-2:/opt/
scp -r /opt/hadoop-2.9.1/ ceph-3:/opt/

slave节点不需要slaves文件，但留着也无碍
另外，slave上也需要修改/etc/profile文件

export HADOOP_HOME=/opt/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin

别忘了，使其生效

source /etc/profile

3. HDFS启动

#格式化namenode
hadoop namenode -format
#启动hdfs
sbin/start-dfs.sh
#启动yarn
sbin/start-yarn.sh

通过jps可查看进程
在master节点运行

[root@ceph-1 hadoop-2.9.1]# jps
2640956 Jps
2613197 NodeManager
2612859 SecondaryNameNode
2612442 NameNode
2613098 ResourceManager
2612632 DataNode

在slave节点运行

[root@ceph-2 logs]# jps
2566087 Jps
2534869 DataNode
2562436 NodeManager

说明：

  • NodeManager是运行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包括与ResourceManager保持通信，管理Container的生命周期、监控每个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等
  • ResourceManager： 用于对外提供yarn服务，资源分配等，还负责托管用户提交的mapreduce作业，负载均衡等
#停止hdfs
sbin/stop-dfs.sh
sbin/stop-yarn.sh

查看集群状态

[root@ceph-1 hadoop-2.9.1]# hdfs dfsadmin -report
Configured Capacity: 42140381184 (39.25 GB)
Present Capacity: 31786508288 (29.60 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used: 28672 (28 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (ceph-1)
Hostname: ceph-1
Decommission Status : Normal
Configured Capacity: 42140381184 (39.25 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8404475904 (7.83 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.43%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Jun 28 17:58:01 CST 2018
Last Block Report: Thu Jun 28 16:48:03 CST 2018

通过浏览器查看集群状态

http://ceph-1:50070                   #dfs.namenode.http-address

注意坑点

  1. Error: JAVA_HOME is not set and could not be found
    修改hadoop-env.sh
export JAVA_HOME={JAVA_HOME}
将上面的改成下面
export JAVA_HOME=/opt/jdk1.8.0_171
  1. slave的datanode连接不上namenode
    修改master的/etc/hosts
#将下面这行去掉
127.0.0.1   localhost
    原文作者：莫茫Link
    原文地址: https://www.jianshu.com/p/7a49cf47091e
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞