cm5.3.2安装文档

2023年6月1日 199次阅读 来源: awanke

文档记录了大家cdh的过程

1.集群节点5台

hostname      ip             mem   cpu     dish
hadoop001 192.168.*.** 　8G  2*E5620 4*2TB
hadoop002 192.168.*.** 　8G  2*E5620 4*2TB
hadoop003 192.168.*.** 　1G 2*E5620 2*2TB
hadoop004 192.168.*.**　 7G  2*E5620 2*2TB
hadoop005 192.168.*.** 　8G  2*E5620 2*2TB

2.角色分配：

集群server节点：001
集群agent节点：001,hadoop002,hadoop003,hadoop004,hadoop005

3.集群基础配置说明：

所有节点配置要求：

序号项目配置细节
1Linux OSCentOS 6.5
2配置163yum源1. cd /etc/yum.repos.d
2. mv CentOS-Base.repo CentOS-Base.repo.backup
3. wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
4. mv CentOS6-Base-163.repo CentOS-Base-163.repo
5. yum clean all
6. yum makecache
3磁盘挂载系统盘：各目录正常分配，剩余磁盘空间全部分给目录/data
数据磁盘：一个数据磁盘挂载为一个目录，直接挂载到根目录下，为：/data1……/data12
4磁盘IO优化需要使用noatime选项挂载磁盘，表示执行读操作时，不更新文件的访问时间，可以显著提供性能。
5增加Linux打开文件数ulimit –a可查看：open files (-n) 655350
ulimit打开文件数目增加到：655350
6永久关闭linux swapcat /proc/sys/vm/swappiness
sysctl -w vm.swappiness=0
vi /etc/sysctl.conf
vm.swappiness=0
sysctl -p /etc/sysctl.conf
7永久关闭SElinuxvim /etc/sysconfig/selinux
setenforce 0
8取消CPU节能模式取消CPU的节能运行模式
9网络配置配置外网、内网IP、DNS，Gateway。
如果没有本地yum server，服务器需要访问外网，通过yum从外网安装软件包。
10hostnamehostname命名规则按照运维部门规定，不要包含横线、下划线。
例如：hadoop001
vim /etc/sysconfig/network
HOSTNAME=hadoop001
11多网卡绑定将多块网卡做绑定，只需要内网IP，不需要外网IP
12用户权限配置详见附录：用户权限配置说明
13ntp服务配置详见附录：ntp服务配置
14安装rpcbind
postgresql-server		yum install -y postgresql-server rpcbind
配置服务rpcbind开机启动：chkconfig rpcbind on
15设置hostsvim /etc/hosts
192.168.28.100 hadoop001
192.168.28.76 hadoop005
16下载安装文件1.下载地址详见附录：安装文件下载地址
(当前文件已经下载到目录：hadoop001:/opt/hadoop-install)
2.分发到各个节点
17安装rpm包（所有节点）进入目录：
1.cd /opt/hadoop-install/cm/5.3.2/RPMS/x86_64
2.执行：rpm -ivh ./*.rpm
18复制parcel（仅hadoop001节点）下载:http://archive.cloudera.com/cdh5/parcels/5.3.2/下的文件：
1.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
2.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1
3.manifest.json
将这三个文件copy到
hadoop001:/opt/cloudera/parcel-repo目录下
4.修改文件名称
mv CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha
19配置cloudera-scm-server自启动执行：chkconfig cloudera-scm-server on

附录

2.配置NTP服务

集群中所有主机必须保持时间同步，具体思路如下：
hadoop001节点作为ntp服务器主节点与外界对时中心同步时间,所有节点以hadoop001节点为基础同步时间。

1.所有节点：yum install ntp
2.配置开机启动：chkconfig ntpd on
检查是否设置成功：chkconfig –list
ntpd 其中2-5为on状态就代表成功。
3.主节点配置
在配置之前，先使用ntpdate手动同步一下时间
执行：ntpdate -u 65.55.56.206
配置文件位置：vi /etc/ntp.conf

# ntp服务只有一个配置文件，不需要的配置都用#注掉
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

4.启动服务，执行如下命令： service ntpd start
5.检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
6.配置ntp客户端（所有agent节点）
配置文件位置：vi /etc/ntp.conf

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop001
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

手动同步一下时间： ntpdate -u hadoop001 (主节点ntp服务器)
6.启动服务： service ntpd start

3.安装文件下载地址：

cm-installer:
http://archive-primary.cloudera.com/cm5/installer/5.3.2/cloudera-manager-installer.bin
cm-repo-tar:
http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.3.2/cm5.3.2-centos6.tar.gz
cdh-repo-tar:
http://archive-primary.cloudera.com/cdh5/repo-as-tarball/5.3.2/cdh5.3.2-centos6.tar.gz
cm-tar
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.2_x86_64.tar.gz
parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.3.2/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1

参考资料：

官方doc：
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ig_intro_to_cm_install.html
http://www.cnblogs.com/oftenlin/p/4217670.html
确保安装准备工作已经做完

启动cloudera-scm-server

1.用root用户在hadoop001上执行：
service cloudera-scm-server start 命令
2.登录页面：
http://192.168.28.100:7180/
用户名，密码：admin,admin
按照安装向导进行集群安装，配置

    原文作者：awanke
    原文地址: https://www.jianshu.com/p/91e1f93e2473
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞