从零开始搭建hadoop3集群

配置参考文章

https://blog.csdn.net/dream_an/article/details/80258283

准备工作

起始是一台ubuntu,另外两台是裸机。准备一个u盘(用来复制系统或拷贝文件)。

需求

在三台机上配置好hadoop、zookeeper、hbase、hive集群。

路线选择:

  1. 先在有ubuntu的机上配置好hadoop,然后备份系统,直接复制到两台裸机上。然后再用ssh操纵三台机器配置zookeeper等其它组件。
  2. 三台机都安装好ubuntu,再分别配置,只是操纵三台机麻烦。
  3. 在一台机上把所有组件的配置文件写好,再复制到另外两台裸机上。

我是用的第一种,因为hadoop的配置文件最多,过程最麻烦,最好先验证hdfs正常运行后再继续安装。

安装顺序

  1. 安装、配置hadoop,启动并检验hdfs集群
    1. 在一台电脑上将hadoop配置文件写好
    2. 通过systemback备份系统复制到两台裸机上
  2. 安装、配置zookeeper,启动并检验zk集群
  3. 在namenode机安装、配置hive

附加技能

在安装集群的过程中,你可能需要学会以下技能:

  1. 备份ubuntu系统并在其它机器上还原
  2. 修改ubuntu主机名、hosts

1. 配置hadoop集群

1.1 在一台电脑配置hadoop

跟随千锋大数据中级教程
P.36~P.39做即可

注意事项:

  1. 主机名应当尽量与hosts中的映射域名一致。
    比如hosts中某一条为xx.xx.xx.xx hadoop01则主机名应当为hadoop01
  2. hosts中一个域名只能映射到一个ip,不要在文件里为同一个域名指定两个ip。

1.2 将该电脑上的系统移植到其它系统

systemback ubuntu系统备份 恢复 简单快速有效
需要修改

2.安装、配置zookeeper

跟随千锋大数据中级教程P.47即可

注意事项:
conf/zoo.cfg中的dataDir一行:

dataDir=/usr/zookeeper/zkData

请填写绝对路径,不要用${ZK_HOME}这样的变量,否则可能会连接失败

3. 安装配置hive

跟随千锋大数据中级教程P.74即可

注意事项:

  1. conf/hive-site.xml中的数据库url不要填域名,直接填ip即可。
  2. mysql-connnector可以去官网下载deb包,解压,查找.jar包,把jar包放到lib目录

三台电脑不同的部分

hosts
zookeeper/zkData/myid

    原文作者:不存在的里皮
    原文地址: https://www.jianshu.com/p/8824e566d2d4
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞