操作系统
因为公司的服务器上用的RedHat Linux 6，所以本安装指南也是基于RedHat完成的，但是其它版本，如Ubuntu、CentOS等也可参考，无本质上的差异。
服务器集群
本次测试环境只有3台服务器，所以一台做主结点，另外两台做数据结点。
软件版本
2018年1月完成的本次安装，所以使用的软件版本如下所示，选用的均是稳定版本。
- jdk-8u144-linux-x64.rpm
- hadoop-2.7.4.tar.gz
- hbase-1.2.6-bin.tar.gz
- apache-hive-1.2.2-bin.tar.gz
- zookeeper-3.4.10.tar.gz
- apache-kylin-2.2.0-bin-hbase1x.tar.gz
一般情况下，我们都是在一台服务器上做完hadoop，zookeeper，hbase等的配置，然后拷贝到集群里另外的服务器上直接使用。有的情况配置稍作一点修改，请大家注意。更多我的文字可以到：数圈儿进一步关注。
操作步骤
1. 集群服务器系统环境准备
1.1 修改主机名，方便通过主机名进行网络互通
为了操作方便，先给3台服务器起个名字。linux修改主机名的方法如下：
hostname命令可以临时修改机器名，但机器重新启动之后就会恢复原来的值。
hostname //查看机器名
hostname -i //查看本机器名对应的ip地址
1.2 另外一种方法就是修改“/etc/hosts”这个文件
系统重启后仍然有效，所以我们采用这个方法修改3台服务器的主机名
修改/etc/hosts文件，对于统本身用到主机名的地方不会变化。这是因为hosts 是网络中用的，解决的是类似DNS的问题。/etc/sysconfig/network是本机自己使用的。
详细可参考：https://blog.csdn.net/trochiluses/article/details/11483591
我的hosts文件示例：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.20.10.40 BI01
172.20.10.41 BI02
172.20.10.42 BI03
这里3台服务器分别取名为BI01，BI02和BI03.
1.3 RedHat配置本地Yum仓库
公司服务器上RedHat是安装的Basic Server版本，大量常用软件没有安装。同事把安装光盘挂载到了服务器上，这里是创建一个本地的仓库指向光盘，方便快速的安装需要的软件
详细参考：http://www.runoob.com/linux/linux-yum.html
具体按照如下步骤进行：
步骤一：将RHEL6光盘手动挂载到/media
[root@localhost ~]# mount /dev/cdrom /media/
mount: block device /dev/sr0 is write-protected, mounting read-only
[root@localhost ~]# mount | tail -1
/dev/sr0 on /media type iso9660 (ro)
步骤二：将本地设置为客户端，进行Yum验证
命令操作如下所示：
[root@localhost ~]# cd /etc/yum.repos.d/ //必须在这个路径下
[root@localhost yum.repos.d]# ls //此路径下事先有配置文件的模板
rhel-source.repo
[root@localhost yum.repos.d]# cp rhel-source.repo rhel6.repo //配置文件必须以.repo结尾
[root@localhost yum.repos.d]# vim rhel6.repo
[rhel-6] //括号里的ID要求唯一，但不要出现特殊字符
name=Red Hat Enterprise Linux 6 //描述信息，可以看情况填写
baseurl=file:///media/ //yum软件仓库位置，指向光盘挂载点
enabled=1 //是否开启，1为开启，0为不开启
gpgcheck=1 //是否检查签名，1为监测，0为不检测
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release //签名认证信息的路径
步骤三：加载上一个步骤中新建的仓库
[root@localhost /]# yum repolist
Loaded plugins: product-id, refresh-packagekit, security, subscription-manager
This system is not registered to Red Hat Subscription Management SinanWu. You can use subscription-manager to register.
rhel-6 | 3.9 kB 00:00 ...
rhel-6/primary_db | 3.1 MB 00:00 ...
repo id repo name status
rhel-6 Red Hat Enterprise Linux 6 3,690
repolist: 3,690
我的实际操作如下：
[root@BI01 ~]# ls /apps/cdrom/
[root@BI01 yum.repos.d]# vi rhel-local.repo
[rhel-local]
name=Red Hat Enterprise Linux $releasever - $basearch - Local
baseurl=file:///apps/cdrom/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
1.4 安装缺失的vim，ssh client等软件
[root@BI01 /]# yum -y install vim
[root@BI01 /]# yum -y install openssh-clients
1.5 安装JDK 8
上传JDK，使用yum本地安装进行
[root@BI02 downloads]# yum localinstall jdk-8u144-linux-x64.rpm
1.6 新建大数据平台用户
不推荐使用root用户来进行安装，我们需要为整个大数据平台创建独立的用户
RedHat下使用命令：
[root@BI01 downloads]# groupadd bigdata
[root@BI03 downloads]# useradd -g bigdata bdp
详细参考：http://www.cnblogs.com/clicli/p/5943788.html
1.7 RadHat为普通用户添加sudo权限
对sudoers的修改需要root权限，因此先登录root用户：
su - root
sudoers文件默认是只读的，所以要先修改一下它的权限：
chmod u+w /etc/sudoers
使用vi修改sudoers文件
vi /etc/sudoers
找到如下这行：
root ALL=(ALL) ALL
如果你的用户名是bigdata，那么在上面这行的下面增加如下内容：
bigdata ALL=(ALL) ALL
从vi中保存退出，再将sudeors文件的权限修改回来：
chmod u-w /etc/sudoers
最后就是退出shell，再重新登录。修改完成后一定记得检查语法：
visudo -c
确保/etc/sudoers默认的权限是440（防止权限误用）
1.8 SSH免密码设置
因为集群多台服务器之间需要协同工作，原理就是执行脚本的时候，有时候要远程执行其他服务器上的命令，说白了就是ssh过去，执行相应命令。但是建立ssh连接是需要口令的，为了能让服务器之间免密码登录，就需要利用公钥体系做一个授权。
这个网上有很多资料和说明，百度“ssh 免密”
详细可参考：https://blog.csdn.net/universe_hao/article/details/52296811
步骤一：每个服务器上运行命令产生pub key
ssh-keygen -t rsa //一路回车就好
步骤二：每个服务器上把自己pub key拷贝到其它的机器上，包括自己本机
ssh-copy-id -i ~/.ssh/id_rsa.pub BI01
ssh-copy-id -i ~/.ssh/id_rsa.pub BI02
ssh-copy-id -i ~/.ssh/id_rsa.pub BI03
2.Hadoop安装
其实网上已经有很多hadoop集群安装的帖子，但还是会碰到一些新问题，大家可以先阅读下的两篇帖子。我把我实际安装的时候记录在后面作为补充
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
http://blog.csdn.net/dream_an/article/details/52946840
补充材料：hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布式集群HA部署
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13679
所有安装包解压到一个目录下面，例如我的是：/home/bdp/opt/
[bdp@BI01 opt]$ ls -al
total 48
drwxr-xr-x. 12 bdp bigdata 4096 Dec 1 15:12 .
drwx------. 10 bdp bigdata 4096 May 17 14:39 ..
drwxr-xr-x. 12 bdp bigdata 4096 Nov 20 13:10 hadoop-2.7.4
drwxr-xr-x. 9 bdp bigdata 4096 Nov 30 09:05 hbase-1.2.6
drwxr-xr-x. 11 bdp bigdata 4096 Nov 10 2017 hive-1.2.2
drwxr-xr-x. 15 bdp bigdata 4096 Aug 31 2017 impala-2.10.0
drwxr-xr-x. 12 bdp bigdata 4096 Jan 2 14:37 kylin-2.2.0
drwxr-xr-x. 12 bdp bigdata 4096 Nov 17 17:38 zookeeper-3.4.10
2.1 配置环境变量
[bdp@BI01 opt]$ vim ~/.bash_profile
该文件的最终配置如下：
#JDK
export JAVA_HOME="/usr/java/jdk1.8.0_144"
#Hadoop env
export HADOOP_HOME="/home/bdp/opt/hadoop-2.7.4"
export HIVE_HOME="/home/bdp/opt/hive-1.2.2"
export HBASE_HOME="/home/bdp/opt/hbase-1.2.6"
export KYLIN_HOME="/home/bdp/opt/kylin-2.2.0"
export PATH="$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
执行下面命令，让改动马上生效
source ~/.bash_profile
2.2 在主结点上（BI01），配置/home/bdp/opt/hadoop-2.7.4/etc/hadoop/slaves文件，增加slave主机名。
注意要把localhost删掉
BI02
BI03
2.3 配置 etc/hadoop/core-site.xml
这里就粘贴的是最终优化后的结果，有些参数可能还不是太合理，但至少对于上千万条的数据最后是跑过了。资源分配的参数，大家需要针对自己服务器的CPU核数和内存容量进行修改，不能直接copy。对于初学者，很多配置项还不理解它的作用，这里主要讲安装就不进行详解了，可以自行搜索一下，有很多资料介绍的。
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://BI01:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bdp/data/hadoop/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.bdp.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.bdp.groups</name>
<value>*</value>
</property>
</configuration>
2.4 配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>BI01:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/bdp/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/bdp/data/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
2.5 配置yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>BI01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>BI01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>BI01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>BI01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>BI01:8088</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>50000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
</property>
<!-- 64GB SinanWu-->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>65536</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
<!-- 开启日志聚合 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志聚合目录 -->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property>
<!-- 3 days -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>259200</value>
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>3600</value>
</property>
</configuration>
2.6 配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>BI01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>BI01:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>16000</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>16000</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx40000m</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx40000m</value>
</property>
</configuration>
2.7 除了site配置文件，还有很多env的脚本需要优化
这里在很多安装教程里没有提及，因为对于安装时期来说是不需要修改的。但一旦跑起数据来，很多进程的启动脚本里分配的java虚拟机的堆栈都不够用。下面提前介绍一下，同样，直接上sh文件。
hadoop-env.sh 片段
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=40000
# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xms1G -Xmx40G $HADOOP_CLIENT_OPTS"
40G是不是有些粗暴？后续待进一步优化
mapred-env.sh 片段
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
yarn-env.sh 片段
JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1000m
2.8 Hadoop安装问题集锦
2.8.1 hadoop节点nodemanager启动失败
查看logs/yarn-bdp-nodemanager-BI02.log可以看到错误信息。其实就是yarn-site.xml配置有点问题。nodemanager要求的内存最低1024MB。
解决方案： a. yarn-env.sh中的JAVA_HEAP_MAX=-Xmx1000m
b. 更改yarn-site.xml的配置文件（如下）
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>65536</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
a和b两个步骤都要执行，且b里面两项都要配置
2.9 配置和启动History Server
Hadoop日志聚合和jobhistoryserver配置，详细参考：
http://blog.csdn.net/qq_23146763/article/details/71896401
http://blog.csdn.net/shenfuli/article/details/52470688
注意：同时要修改hdfs上目录的权限
3.Hive安装
详细可参考：
http://www.cnblogs.com/kinginme/p/7233315.html
3.1 安装Mysql
详细可参考：
linux 安装mysql数据库——yum安装法，http://www.cnblogs.com/nzplearnSite/p/5002775.html
命令安装mysql
# yum install mysql mysql-server mysql-devel -y
最后提示 Complete! 表示安装成功
查看是否生成了mysqld服务, 并设置开机启动
# chkconfig --list |grep mysql
我们需要设置mysqld随机启动，执行下面命令进行设置
# chkconfig mysqld on
启动mysqld服务
执行如下命令进行启动，两种方法都可以:
# /etc/init.d/mysqld start
# service mysqld start
设置MySQL的root密码
mysqladmin -u root password "newpass"
mysql> create user 'hive' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> create database hivemeta;
Query OK, 1 row affected (0.00 sec)
mysql> grant all privileges on hivemeta.* to 'hive'@'%' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
注意：有时候感觉grant不起作用，是因为有的mysql版本的’%’不包括localhost，要单独对@’localhost’进行赋值
详细可参考：http://blog.sina.com.cn/s/blog_49cc672f0100w4dt.html
mysql> grant all privileges on hivemeta.* to 'hive'@'localhost' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> grant all on *.* to root@'localhost' identified by 'hadoop123';
Query OK, 0 rows affected (0.00 sec)
mysql> select Host,User,Password from user;
+-----------+------+-------------------------------------------+
| Host | User | Password |
+-----------+------+-------------------------------------------+
| localhost | root | *F14F709577A216DE31466C3EB73SINANWUF9500 |
| bi01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| bi01 | | |
| % | root | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
| % | hive | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
| localhost | hive | *F14F709577A216DE31466C3EB73B85B3A95F9500 |
+-----------+------+-------------------------------------------+
8 rows in set (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
3.2 修改Hive配置文件
在目录/home/bdp/opt/hive-1.2.2/conf下拷贝一个模板出来，命名为：hive-site.xml
cp hive-default.xml.template hive-site.xml
hive-site.xml配置文件全部清空只保留以下内容，其中注意要修改jdbc的url参数
<configuration>
<!-- 指定HDFS中的hive仓库地址 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
</property>
<!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 -->
<property>
<name>hive.metastore.uris</name>
<value></value>
</property>
<!-- 指定mysql的连接 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivemeta?createDatabaseIfNotExist=true&useSSL=false&characterEncoding=UTF-8</value>
</property>
<!-- 指定驱动类 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 指定用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<!-- 指定密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop123</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!-- The location of the plugin jars-->
<property>
<name>hive.aux.jars.path</name>
<value>/hive/lib/hive-hbase-handler-1.2.2.jar,/hive/lib/hbase-annotations-1.2.6.jar,/hive/lib/hbase-client-1.2.6.jar,/hive/lib/hbase-common-1.2.6.jar,/hive/lib/hbase-hadoop2-compat-1.2.6.jar,/hive/lib/hbase-it-1.2.6.jar,/hive/lib/hbase-prefix-tree-1.2.6.jar,/hive/lib/hbase-procedure-1.2.6.jar,/hive/lib/hbase-protocol-1.2.6.jar,/hive/lib/hbase-resource-bundle-1.2.6.jar,/hive/lib/hbase-rest-1.2.6.jar,/hive/lib/hbase-server-1.2.6.jar,/hive/lib/hbase-shell-1.2.6.jar,/hive/lib/hbase-thrift-1.2.6.jar,/hive/lib/zookeeper-3.4.10.jar,/hive/lib/guava-14.0.1.jar</value>
</property>
<property>
<name>hive.zookeeper.quorum</name>
<value>BI01,BI02,BI03</value>
</property>
<property>
<name>hive.auto.convert.join</name>
<value>false</value>
</property>
<property>
<name>hive.mapjoin.smalltable.filesize</name>
<value>25000000</value>
</property>
<property>
<name>hive.auto.convert.join.noconditionaltask</name>
<value>false</value>
</property>
<property>
<name>hive.auto.convert.join.noconditionaltask.size</name>
<value>500000000</value>
</property>
</configuration>
3.3 MySQL的jdbc驱动<mysql-connector-java-5.1.28.jar>，放到hive安装包的lib目录下
3.4 运行hive之前首先要确保meta store服务已经启动
nohup hive --service metastore > metastore.log 2>&1 &
3.5 启动Hive后，登录Mysql查看新建的表
mysql> use hivemeta;
mysql> show tables;
+---------------------------+
| Tables_in_hivemeta |
+---------------------------+
| BUCKETING_COLS |
| CDS |
| COLUMNS_V2 |
| DATABASE_PARAMS |
| DBS |
| GLOBAL_PRIVS |
| PARTITIONS |
| PARTITION_KEYS |
| PARTITION_KEY_VALS |
| PARTITION_PARAMS |
| PART_COL_STATS |
| ROLES |
| SDS |
| SD_PARAMS |
| SEQUENCE_TABLE |
| SERDES |
| SERDE_PARAMS |
| SKEWED_COL_NAMES |
| SKEWED_COL_VALUE_LOC_MAP |
| SKEWED_STRING_LIST |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES |
| SORT_COLS |
| TABLE_PARAMS |
| TAB_COL_STATS |
| TBLS |
| VERSION |
+---------------------------+
27 rows in set (0.00 sec)
3.6 测试
详细可以参考：http://blog.csdn.net/blueheart20/article/details/38460541
hive> create table test1(name string, age int);
OK
Time taken: 1.25 seconds
hive> show tables;
OK
test1
Time taken: 0.101 seconds, Fetched: 1 row(s)
hive> desc test1;
OK
name string
age int
Time taken: 0.1 seconds, Fetched: 2 row(s)
进入MySQL查看test1表的信息：
mysql> select * from TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| 1 | 1509345519 | 1 | 0 | bdp | 0 | 1 | test1 | MANAGED_TABLE | NULL | NULL |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
1 row in set (0.00 sec)
3.7 安装Hive过程中碰到的问题
错误：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
原因：因为没有正常启动Hive 的 Metastore Server服务进程。
解决方法：启动Hive 的 Metastore Server服务进程，执行如下命令：
# hive --service metastore &
详细可以参考：http://blog.csdn.net/freedomboy319/article/details/44828337
错误：MetaException(message:Version information not found in metastore
详细可以参考：http://blog.csdn.net/youngqj/article/details/19987727
详细可以参考：彻底弄清Hive安装过程中的几个疑问点
http://www.aboutyun.com/thread-10937-1-1.html
4.ZooKeeper安装
详细可以参考下面两个帖子：
http://blog.csdn.net/aquester/article/details/24301195
http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkMulitServerSetup
4.1 三台服务器上分别创建data目录和myid文件
[bdp@BI02 ~]$ mkdir -p data/hadoop/zookeeper/data
Fullpath：/home/bdp/data/hadoop/zookeeper/data
[bdp@BI01 data]$ echo '1' > myid
[bdp@BI02 ~]$ echo '2' > data/hadoop/zookeeper/data/myid
[bdp@BI03 ~]$ echo '3' > data/hadoop/zookeeper/data/myid
4.2 修改conf/zoo.cfg
tickTime=2000
dataDir=/opt/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=master1:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.N中的N值必须和myid保持相同。
端口2181用于监听客户端的连接，端口2888用于Leader监听Follower的连接，而3888则用于Leader选举。
dataDir用来指定快照文件存放目录，dataLogDir用来指定事务日志文件存放目录。如果只指定了dataDir，而没指定dataLogDir，则事务日志文件也存放于dataDir指定的目录。
默认，autopurge的两个参数是被注释的。“autopurge.purgeInterval”指定自动清理快照文件和事务日志文件的时间，单位为小时，默认为0表示不自动清理，这个时候可以使用脚本zkCleanup.sh手动清理。不清理的结果是占用的磁盘空间越来越大。“autopurge.snapRetainCount”用于指定保留快照文件和事务日志文件的个数，默认为3。
最后我的配置如下：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/home/bdp/data/hadoop/zookeeper/data
dataLogDir=/home/bdp/opt/zookeeper-3.4.10/logs
clientPort=2181
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
server.1=BI01:2888:3888
server.2=BI02:2888:3888
server.3=BI03:2888:3888
4.3 修改/bin/zkEnv.sh
设置环境变量ZOO_LOG_DIR为zookeeper的日志存放目录，如：
export ZOO_LOG_DIR=/data/hadoop/zookeeper/log
可将这一行放在ZOOKEEPER_PREFIX之后。
再修改下ZOO_LOG4J_PROP，以让日志不是输出到zookeeper.out，而是写入到日志文件，将：ZOO_LOG4J_PROP=”INFO,CONSOLE”，改成：
ZOO_LOG4J_PROP=”INFO,ROLLINGFILE”
4.4 修改conf/log4j.properties
log4j.appender.ROLLINGFILE.MaxFileSize=100MB
log4j.appender.ROLLINGFILE.MaxBackupIndex=10
设置每个日志文件大小为100M，滚动10个。
5.HBase安装
官方参考：
http://hbase.apache.org/book.html#quickstart_fully_distributed
详细可以参考：
http://blog.csdn.net/gamer_gyt/article/details/52032579
提示：先看单机伪分布的配置，才能继续真正分布式的配置
5.1 编辑/home/bdp/opt/hbase-1.2.6/conf/hbase-env.sh
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.8.0_144
# Extra Java CLASSPATH elements. Optional.
# export HBASE_CLASSPATH=
# The maximum amount of heap to use. Default is left to JVM default.
export HBASE_HEAPSIZE=7G
# Uncomment below if you intend to use off heap cache. For example, to allocate 8G of
# offheap, set the value to "8G".
# export HBASE_OFFHEAPSIZE=1G
# Extra Java runtime options.
# Below are what we set by default by SinanWu. May only work with SUN JVM.
# For more on why as well as other possible settings,
# see http://wiki.apache.org/hadoop/PerformanceTuning
export HBASE_OPTS="-Xmx24G -Xms16G -Xmn9G -XX:PermSize=1G -XX:MaxPermSize=2G -XX:SurvivorRatio=8 -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSParallelRemarkEnabled -XX:+UseParNewGC -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:$HBASE_HOME/logs/gc-$(hostname)-hbase.log"
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false
5.2 编辑编辑/home/bdp/opt/hbase-1.2.6/conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://BI01:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/bdp/data/hadoop/zookeeper/data</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>BI01:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>BI01,BI02,BI03</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>300000</value>
</property>
<property>
<name>hbase.zookeeper.property.tickTime</name>
<value>60000</value>
</property>
<property>
<name>hbase.hregion.memstroe.mslab.enable</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.maxClientCnxns</name>
<value>10000</value>
</property>
<property>
<name>hbase.client.scanner.timeout.period</name>
<value>660000</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>660000</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>2</value>
</property>
</configuration>
5.3 编辑conf/regionservers
清空文件里的已有内容，修改为：
BI02
BI03
5.4 配置BI02为backup master
Configure HBase to use node-b as a backup master. Create a new file in conf/ of BI02 called backup-masters, and add a new line to it with the hostname for node-b.
在BI02服务器上，/home/bdp/opt/hbase-1.2.6/conf/目录下创建backup-masters文件，内容如下所示：
[bdp@BI02 conf]$ cat backup-masters
BI02
[bdp@BI02 conf]$
5.5 先确保ZooKeeper已经启动，再启动HBase
6.Kylin安装
6.1 安装按照官方文档进行
6.2.配置和启动Hadoop history server
6.3 修改必要的hdfs上面的文件夹的权限
6.4 可考虑修改配置文件：kylin_hive_conf.xml，禁用hive的本地mapred任务。这是因为hive的本地任务，文件大小和个数满足一个条件就会启用，因此一两个大表会导致本地模式内存溢出
Kylin的安装比较简单，但是在Cube的创建上会碰到很多问题，更多更新可以移步到 http://shuquaner.com/ 保持关注:)
