Ambari安装与搭建Hadoop

Ambari简介

以下内容摘自百度百科

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari主要取得了以下成绩:

  • 通过一步一步的安装向导简化了集群供应。
  • 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
  • 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
  • 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
  • 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。

准备工作

需要的工具有:yum rpm scp curl wget pdsh 前几个一般系统都自带了,pdsh需要自己装 

使用如下命令:

sudo yum -y install epel-release 
sudo yum install pdsh
配置hosts

执行命令:

sudo vi /etc/hosts

添加如下内容(根据情况修改,dn1这名字最好和节点服务器的主机名相同,以防后期可能会出主机名不一致的错):

192.168.1.49 master master.hadoop.test 
192.168.1.48 dn1 dn1.hadoop.test 
192.168.1.47 dn2 dn2.hadoop.test
配置ssh免登录

选定master.hadoop.test作为ambari server,需要配置该节点到其它节点的ssh免登录

cd ~  
ssh-keygen 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

一直敲回车,遇到(y/n)?敲y 回车

chmod 700 ~/.ssh  
chmod 600 ~/.ssh/authorized_keys 

配置本地的免登录

scp ~/.ssh/authorized_keys root@dn1:/root/.ssh/ 
scp ~/.ssh/authorized_keys root@dn2:/root/.ssh/ 
其他
setenforce 0  
chkconfig iptables off  
/etc/init.d/iptables stop  
umask 022  

安装Ambari Server

添加yum资源库
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.reposud
cp ambari.repo /etc/yum.repos.d 
yum repolist 
开始安装
sudo yum install ambari-server 
ambari-server setup 

以上两个可能会因为网络原因,Python版本,jdk安装等原因失败
中途会出现选择数据库的选项,选择推荐的
在执行ambari-server setup时出现错误或者感觉里面的选项错误时要重新执行时先执行 ambari-server reset 后在执行 ambari-server setup

启动服务
ambari-server start 

服务启动成功后打开浏览器访问http://本机ip:8080 如: (http://192.168.1.46:8080)
用户名和密码:admin/admin
出现Running server: ***(一些java参数) 可能是jdk的问题
出现启动成功,但是却访问不了的情况,查看日志文件会发现java抛了找不到host的异常,在/etc/hosts里加入 本机ip 主机名 (192.168.1.46 likun)

Hadoop集群搭建搭

搭建集群的按钮

《Ambari安装与搭建Hadoop》 QQ截图20160715103303.png

新建集群

输入集群名称,名字不支持 -号空格等

《Ambari安装与搭建Hadoop》 QQ截图20160715103916.png

版本号选择

《Ambari安装与搭建Hadoop》 QQ截图20160715104258.png

系统的版本不同悬着的os版本也不同

《Ambari安装与搭建Hadoop》 QQ截图20160715104613.png

创建ssh免登陆时,.ssh文件夹下有该文件

《Ambari安装与搭建Hadoop》 QQ截图20160715110426.png

这一步很容易因为配置文件的原因出错(可能节点服务器没设置好dns,导致yum不能使用,也可能节点主机名和先前填写的主机名不一致)

《Ambari安装与搭建Hadoop》 QQ截图20160715113759.png

选择要安装哪些

《Ambari安装与搭建Hadoop》 QQ截图20160715133129.png

要在什么机器上装什么自己选

《Ambari安装与搭建Hadoop》 ![QQ截图20160715133847.png](http://upload-images.jianshu.io/upload_images/2429262-a86030429a33580f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
《Ambari安装与搭建Hadoop》 QQ截图20160715133952.png
《Ambari安装与搭建Hadoop》 QQ截图20160715134037.png
《Ambari安装与搭建Hadoop》 QQ截图20160715134048.png

正在安装

《Ambari安装与搭建Hadoop》 QQ截图20160715134057.png
《Ambari安装与搭建Hadoop》 QQ截图20160715141753.png

监控页面

《Ambari安装与搭建Hadoop》 QQ截图20160715141933.png

    原文作者:这名字取得好
    原文地址: https://www.jianshu.com/p/6e59df5f2461
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞