Hadoop(4)--HBase

Hadoop其它组成角色介绍–Hbase

在阿帕奇的官方网站上,对于HBASE的定义是他是Hadoop的的第一个分布式,可扩展的大数据存储的数据库,他的目标是将非常大的表托管到一个集群中进行相应的存储,区别于的MySQL等数据库,它是一个非关系型数据库,但是不支持的SQL语句的编写

HBase的的架构

(RPC:通过一种网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议)

客户端客户端

整个集群的访问入口,使用HBase的RPC机制与HMaster和HRegionServer进行通信。对于管理类操作,Client与HMaster进行RPC通信;对于数据读写类操作,Client与RegionServer进行RPC交互。包含访问HBase的接口,并维护缓存来加强对HBase的的访问。

协调服务组件的ZooKeeper

ZooKeeper(队列)负责管理HBase中多HMaster的选举,服务器之间状态同步等.HBase中ZooKeeper实例存储HBase元数据信息,实时监控RegionServer,存储所有Region的寻址入口。保证任何时候集群中只有一个HMaster 。

主节点HMASTER

HMaster没有单节点问题,Hbase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master在运行,主要负责表和区域的管理工作。管理用户对表的增加查改操作。管理HRegionServer的负载均衡,调整地区分布.Region Split之后,负责新地区的分布。在HRegionServer停机后,负责失效HRegioinServer上区迁移工作。

区域节点HRegionServer

HRegionServer主要负责响应用户I / O请求,向HDFS文件系统中读写数据

HBase的的特点

容量大:单表可以存储大量的行,列,数据矩阵所支持的数量级可以弹性设置

面向列的存储方式:传统的数据库的存储方式在一开始的设计表的时候就已经将每一列的属性进行了设定,不能再动态的进行添加,而Hbase主要有行密钥,列族属性组成,例如设定用户表,定义列族为info,那么存储的时候就可以设定数据为info:name = zhangsan的形式进行存储,当要添加属性的时候直接使用信息:** = **进行添加就行

扩展性:底层存储依赖HDFS,拥有可扩展性,而且HBase的的地区和RegionServer的的概念可以进行分区且分区后数据不在一个节点上,也决定了HBase的是可以进行扩展操作的.Hbase的扩展是热扩展,即可以以便进行的服务一边对节点进行操作

高可靠性:主要在三个方面保证了HBASE中的数据的稳定,第一就是HBase的本身就提供了WAL和复制两种机制,WAL保证了数据写入的时候不会因为集群的原因造成数据的丢失,复制保证了当集群出现问题的时候也不会对其中的数据产生影响,第二,HBASE底层使用的是HDFS的机制,HDFS本身就拥有副本机制,传入的数据会在不同的节点上进行相应的备份,第三,HBASE使用动物园管理员组件进行协调服务,erzookeeper本身就具有高可用和高可靠两种特性

高性能:底层的LSM(内存+顺序写磁盘)的数据结构以及列族的存储方式决定了在写方面HBase的拥有非常高的性能,区域切分,主键索引和缓存机制让HBASE在随机读取方面也有不错的展现。

HBASE的适应场景 ;

HBASE虽然提供了一个强大的存储机制用来对数据进行存储,但是,事物都是两面性的,在某一些场合也是不使用HBase的的,在官方网站上,对于以下几个方面做出了不适应于使用HBase的进行存储的解释

数据量的大小:HBASE和关系型数据库的区别就在于存储数据的大小,当数据量不是很大的时候,使用传统的RDBMS可能是一个更好的选择,因为当数据量不是很大的时候使用Hbase会使集群中产生资源浪费的情况,只是单纯的一到两个节点上就把所有的数据处理完了

确保有足够的硬件支持:即使是搭建一个最简单的集群也至少需要3个节点(虽然可以进行调整,但是HDFS的备份机制默认的节点个数为3个),所以,要想使用HBase的对数据进行存储要考虑一下自己的硬件是否能够对其进行支持

确保应用程序可以在HBase的下能够生存下来,因为通过RDBMS进行构建的应用程序不是简单的更改就可以移植到HBase的上的,比如JDBC驱动程序就无法进行移植以及复杂的查询语言等都在HBase的中不能被使用,所以要确定可以在没有RDBMS提供所有额外功能的情况下生存

如想进行交流可以添加qq群:859121793

或扫码添加微信群

《Hadoop(4)--HBase》

    原文作者:马六九
    原文地址: https://www.jianshu.com/p/30dd4fde5c1a
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞