配置参考文章
https://blog.csdn.net/dream_an/article/details/80258283
准备工作
起始是一台ubuntu,另外两台是裸机。准备一个u盘(用来复制系统或拷贝文件)。
需求
在三台机上配置好hadoop、zookeeper、hbase、hive集群。
路线选择:
- 先在有ubuntu的机上配置好hadoop,然后备份系统,直接复制到两台裸机上。然后再用ssh操纵三台机器配置zookeeper等其它组件。
- 三台机都安装好ubuntu,再分别配置,只是操纵三台机麻烦。
- 在一台机上把所有组件的配置文件写好,再复制到另外两台裸机上。
我是用的第一种,因为hadoop的配置文件最多,过程最麻烦,最好先验证hdfs正常运行后再继续安装。
安装顺序
- 安装、配置hadoop,启动并检验hdfs集群
- 在一台电脑上将hadoop配置文件写好
- 通过systemback备份系统复制到两台裸机上
- 安装、配置zookeeper,启动并检验zk集群
- 在namenode机安装、配置hive
附加技能
在安装集群的过程中,你可能需要学会以下技能:
- 备份ubuntu系统并在其它机器上还原
- 修改ubuntu主机名、hosts
1. 配置hadoop集群
1.1 在一台电脑配置hadoop
跟随千锋大数据中级教程
P.36~P.39做即可
注意事项:
- 主机名应当尽量与hosts中的映射域名一致。
比如hosts中某一条为xx.xx.xx.xx hadoop01
则主机名应当为hadoop01
- hosts中一个域名只能映射到一个ip,不要在文件里为同一个域名指定两个ip。
1.2 将该电脑上的系统移植到其它系统
systemback ubuntu系统备份 恢复 简单快速有效
需要修改
2.安装、配置zookeeper
跟随千锋大数据中级教程P.47即可
注意事项:
conf/zoo.cfg
中的dataDir
一行:
dataDir=/usr/zookeeper/zkData
请填写绝对路径,不要用${ZK_HOME}
这样的变量,否则可能会连接失败
3. 安装配置hive
跟随千锋大数据中级教程P.74即可
注意事项:
-
conf/hive-site.xml
中的数据库url不要填域名,直接填ip即可。 - mysql-connnector可以去官网下载deb包,解压,查找.jar包,把jar包放到lib目录
三台电脑不同的部分
hosts
zookeeper/zkData/myid