cm5.3.2安装文档

文档记录了大家cdh的过程

1.集群节点5台

hostname      ip             mem   cpu     dish
hadoop001 192.168.*.**  8G  2*E5620 4*2TB
hadoop002 192.168.*.**  8G  2*E5620 4*2TB
hadoop003 192.168.*.**  1G 2*E5620 2*2TB
hadoop004 192.168.*.**  7G  2*E5620 2*2TB
hadoop005 192.168.*.**  8G  2*E5620 2*2TB

2.角色分配:

集群server节点:001
集群agent节点:001,hadoop002,hadoop003,hadoop004,hadoop005

3.集群基础配置说明:

所有节点配置要求:

序号项目配置细节
1Linux OSCentOS 6.5
2配置163yum源1. cd /etc/yum.repos.d
2. mv CentOS-Base.repo CentOS-Base.repo.backup
3. wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
4. mv CentOS6-Base-163.repo CentOS-Base-163.repo
5. yum clean all
6. yum makecache
3磁盘挂载系统盘:各目录正常分配,剩余磁盘空间全部分给目录/data
数据磁盘:一个数据磁盘挂载为一个目录,直接挂载到根目录下,为:/data1……/data12
4磁盘IO优化需要使用noatime选项挂载磁盘,表示执行读操作时,不更新文件的访问时间,可以显著提供性能。
5增加Linux打开文件数ulimit –a可查看:open files (-n) 655350
ulimit打开文件数目增加到:655350
6永久关闭linux swapcat /proc/sys/vm/swappiness
sysctl -w vm.swappiness=0
vi /etc/sysctl.conf
vm.swappiness=0
sysctl -p /etc/sysctl.conf
7永久关闭SElinuxvim /etc/sysconfig/selinux
setenforce 0
8取消CPU节能模式取消CPU的节能运行模式
9网络配置配置外网、内网IP、DNS,Gateway。
如果没有本地yum server,服务器需要访问外网,通过yum从外网安装软件包。
10hostnamehostname命名规则按照运维部门规定,不要包含横线、下划线。
例如:hadoop001
vim /etc/sysconfig/network
HOSTNAME=hadoop001
11多网卡绑定将多块网卡做绑定,只需要内网IP,不需要外网IP
12用户权限配置详见附录:用户权限配置说明
13ntp服务配置详见附录:ntp服务配置
14安装rpcbind
postgresql-server
yum install -y postgresql-server rpcbind
配置服务rpcbind开机启动:chkconfig rpcbind on
15设置hostsvim /etc/hosts
192.168.28.100 hadoop001
192.168.28.76 hadoop005
16下载安装文件1.下载地址详见附录:安装文件下载地址
(当前文件已经下载到目录:hadoop001:/opt/hadoop-install)
2.分发到各个节点
17安装rpm包(所有节点)进入目录:
1.cd /opt/hadoop-install/cm/5.3.2/RPMS/x86_64
2.执行:rpm -ivh ./*.rpm
18复制parcel(仅hadoop001节点)下载:http://archive.cloudera.com/cdh5/parcels/5.3.2/下的文件:
1.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
2.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1
3.manifest.json
将这三个文件copy到
hadoop001:/opt/cloudera/parcel-repo目录下
4.修改文件名称
mv CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha
19配置cloudera-scm-server自启动执行:chkconfig cloudera-scm-server on

附录

2.配置NTP服务

集群中所有主机必须保持时间同步,具体思路如下:
hadoop001节点作为ntp服务器主节点与外界对时中心同步时间,所有节点以hadoop001节点为基础同步时间。

1.所有节点:yum install ntp
2.配置开机启动:chkconfig ntpd on
检查是否设置成功:chkconfig –list
ntpd 其中2-5为on状态就代表成功。
3.主节点配置
在配置之前,先使用ntpdate手动同步一下时间
执行:ntpdate -u 65.55.56.206
配置文件位置:vi /etc/ntp.conf

# ntp服务只有一个配置文件,不需要的配置都用#注掉
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

4.启动服务,执行如下命令: service ntpd start
5.检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
6.配置ntp客户端(所有agent节点)
配置文件位置:vi /etc/ntp.conf

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop001
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

手动同步一下时间: ntpdate -u hadoop001 (主节点ntp服务器)
6.启动服务: service ntpd start

3.安装文件下载地址:

cm-installer:
http://archive-primary.cloudera.com/cm5/installer/5.3.2/cloudera-manager-installer.bin
cm-repo-tar:
http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.3.2/cm5.3.2-centos6.tar.gz
cdh-repo-tar:
http://archive-primary.cloudera.com/cdh5/repo-as-tarball/5.3.2/cdh5.3.2-centos6.tar.gz
cm-tar
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.2_x86_64.tar.gz
parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1

参考资料:

官方doc:
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ig_intro_to_cm_install.html
http://www.cnblogs.com/oftenlin/p/4217670.html
确保安装准备工作已经做完

启动cloudera-scm-server

1.用root用户在hadoop001上执行:
service cloudera-scm-server start 命令
2.登录页面:
http://192.168.28.100:7180/
用户名,密码:admin,admin
按照安装向导进行集群安装,配置

    原文作者:awanke
    原文地址: https://www.jianshu.com/p/91e1f93e2473
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞