原创文章，转载请注明原作地址：http://www.jianshu.com/p/0858f9d6a6c2 在讨论布隆过滤器在HBase中的应用之前，先介绍一下HBase的块索引机制。块索引是HBase固有的一个特性，因为…
标签：hfile
HBASE[3]建表考虑
hbase建表 在hbase中的表，表大小可以使10亿行和数百万个列，存储量是其他任何radbms无法比拟的，查询更新等待时间并丝毫不比radbms慢，反而会快的很多。当然…
Hbase 的小合并大合并
compaction从store上面，选取一些HFile进行合并。把key-value按顺序排列写入到新的文件下面，取代之前的文件提供数据。分为minorcompaction和majorcompaction。 1.min…
HBase原理深入解析（二）----HFile与HLog结构解析
前言： 上一篇对HBase整体架构做了初步讲解。本篇对其中的涉及到的HFile和HLog进行单独讲解。在HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，格式主要有两种，就是HFile和HLog。 一、…
06. HBase Compaction 解析
Compaction是什么？ 了解HBase的童鞋都知道，HBase是一种LSM（Log-Structured Merge Tree）架构模式，用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作…
HBase学习 - HFile格式 以及 HFile的读写
1.前言 HBase的数据最终是以HFile的形式存储在HDFS中的，HBase中HFile有着自己的格式。一次memstore的flush会产生一个HFile，一次Compact会导致多个HFile合并成一个。本文主要…
HBase-原理总结
先放一张自己总结的图 [图片上传失败…(image-619f9f-1540812453635)] 数据模型 一个RegionServer会管理多个Region，一个表的一段键值会生成一个Region，个别情况…
HBase架构详解和数据的读写流程
HBase架构图理解 18.png HMaster链接Zookeeper的目得：HMaster需要知道哪些HRegionServere是活的及HRegionServer所在的位置，然后管理HRegionServer。 H…
Spark：DataFrame写HFile （Hbase）一个列族、一个列扩展一个列族、多个列
扩展:Spark:DataFrame生成HFile 批量导入Hbase 在上一篇博文中遗留了一个问题，就是只能处理DataFrame 的一行一列,虽然给出一个折中的办法处理多个列，但是对于字段多的DataFrame却略显…
