CDH 5.14 生态圈安装教程(本地 Repo 方式)

2019年6月8日 267次阅读来源: 聆世冷暖

一.基本配置

1.关闭防火墙
Cloudera Manager不能穿透防火墙，所以需要将防火墙关闭。
以CentOS6为例：
立刻关闭防火墙/永久关闭防火墙

[root@vhost174 ~]# service iptables stop
[root@vhost174 ~]# chkconfig iptables off            
查看防火墙状态
[root@vhost174 ~]# service iptables status
iptables: Firewall is not running.

2.关闭 Selinux
查看状态

[root@vhost174 ~]# getenforce
Disabled
如果为enforcing，修改下面选项
[root@vhost174 ~]# vim /etc/selinux/config
SELINUX=disabled

（此步骤需要重启服务器才生效）
3.修改hosts文件
文件位置：
/etc/hosts
在所有节点添加
IP 主机名

二.基本优化

1.关闭THP（transparent_hugepage）
该配置为CDH & Redis & MongoDB 官方推荐关闭，如果不关闭会增大CPU占用。
查看THP状态

[root@vhost174 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
关闭 THP
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

2.修改最大文件打开数以及链接数

[root@vhost174 ~]# vim /etc/security/limits.conf
# 添加如下的行
*  soft  nofile  32768
*  hard  nofile  32768
Hadoop  -  nofile  32768
Hadoop  -  nproc   unlimited

#<CDH5> additional users
Hdfs    -     nofile  32768
spark   soft  nofile  65535
spark   hard  nofile  5535
spark   -    nproc   32768

以下是说明：

代表针对所有用户
noproc 是代表最大进程数
nofile 是代表最大文件打开数

3.swap分区
最好关闭swap分区

sudo sysctl vm.swappiness=0
vim /etc/sysctl.conf
添加
vm.swappiness=0

4.安装NTP

三.配置本地repo

选择一个节点安装这个和CDH & CM 没有关系，也不需要安装到CDH 或者 CM节点，只是用来放置安装包。

1.安装apache 服务器
本地Repo用来存放CDH和CM的安装软件包，实际就是yum install 软件所在的库，是一个apache2服务器。
安装apache2服务器
CentOS
yum -y install httpd
ubuntu
apt-get install -y apache2
启动服务apache2
service httpd start
默认端口为80
浏览器访问 http:IP 查看安装启动是否成功
apache2的根目录为/var/www/html/
（最新的apache已经变更目录，为新建apache用户的home目录下）
2.下载CDH安装包
下载脚本

#!/bin/bashRH6DIR=$(cd "$(dirname "$0")";pwd)
cd $RH6DIR
ADDRESS=`date -d "yesterday" +"%Y%m%d"`
date >> wget.log
rm -rf stderr.log stdout.log
for benchmark in `cat $RH6DIR/dowmload.list`; doif [[ $benchmark == \#* ]]; thencontinuefi
wget -r -np -c -N --tries=0 --level=15 --reject=html,*5.0.0*,*5.0.1*,*5.0.2*,*5.0.3*,*5.0.4*,*5.0.5*,*5.0.6*,*5.0.7*,*5.0.8*,*5.0.9*,*5.1.1*,*5.1.2*,*5.1.3*,*5.1.4*,*5.1.5*,*5.1.6*,*5.1.7*,*5.1.8*,*5.1.9*,*5.2.0*,*5.2.1*,*5.2.2*,*5.2.3*,*5.2.4*,*5.2.5*,*5.2.6*,*5.2.7*,*5.2.8*,*5.2.9*,*5.3.0*,*5.3.1*,*5.3.2*,*5.3.3*,*5.3.4*,*5.3.5*,*5.3.6*,*5.3.7*,*5.3.8*,*5.3.9*,*5.4.0*,*5.4.1*,*5.4.2*,*5.4.3*,*5.4.4*,*5.4.5*,*5.4.6*,*5.4.7*,*5.4.8*,*5.4.9* $benchmark 2>> wget.log
done

2.dowmload.list
就是下载 CDH 与 CM

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.5.0/
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.0/

下载以CDH5.5.0&CM5.5.0为例。
下载好以后将软件包拷贝到 /var/www/html/ 下

这样就可以通过浏览器访问repo

四.安装CM & CDH

选择一个节点作为CM节点。

配置 repo 源
注：安装CDH 以及CM 需要root 用户或者有root权限的用户
把本地repo添加地址 /etc/yum.repos.d/目录下
模版：

#cm.repo的内容
[cm]
name=cm
baseurl=[http://local_repo.com/CDH5.4.3/archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.4.3](http://local_repo.com/CDH5.4.3/archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.4.3)
gpgcheck=0
[cdh]
name=cdh
baseurl=[http://local_repo.com/CDH5.4.3/archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.4.3](http://local_r)
gpgcheck=0

2.下载CM安装脚本

wget [http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin](http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin)

修改权限
chmod u+x cloudera-manager-installer.bin

安装CM
运行–skip_repo_package=1表示忽略网络repo使用本地repo
./cloudera-manager-installer.bin –skip_repo_package=1
等待安装结束
image.png

《CDH 5.14 生态圈安装教程(本地 Repo 方式)》 image.png
image.png

《CDH 5.14 生态圈安装教程(本地 Repo 方式)》 image.png
image.png
image.png

CDH 的默认端口为7180

五.安装 CDH

登录Web安装界面
CM 管理的默认帐号密码为：
username:admin
password:admin
打开浏览器输入安装了CM的：IP:7180

《CDH 5.14 生态圈安装教程(本地 Repo 方式)》 image.png
image.png

2.版本选择
可以选择Cloudera Enterprise
开始免费60天，等试用结束自动变成免费版

《CDH 5.14 生态圈安装教程(本地 Repo 方式)》 image.png

3.填写服务器
填写要安装CDH的服务器，填写IP
可以一个一个填写用英文逗号分割，例如：192.168.177.134,192.168.177.135,192.168.177.136
也可以用范围，例如：192.168.177.[134-136]
注：填写了IP 并不代表该太服务器就会立刻安装Hadoop，CM会将所有的安装包都拷贝到相应的节点，大约3.6GB。等到后面可以选择具体哪个节点安装什么样的角色。Flume也通过CM安装。
目前已知的组件有
HDFS，HBase，Hive，Yarn，Spark，ZooKeeper，Oozie，Pig，Sqoop，Sentry，Flume，mahout，search，whirr，llama，Impala，Hue，solr，Bigtop

《CDH 5.14 生态圈安装教程(本地 Repo 方式)》 image.png