HBase数据的删除和更新

当删除HBase中的数据,HBase会删除存储在HDFS上的数据,而Hadoop的Sequence File是一个顺序读写,批量处理的系统。那HBase怎么就能够查询到该记录,并更新和删除了数据呢?
答:HBase不会定位到需要删除或更新的记录进行操作。
由于HBase底层依赖HDFS,对于HBase删除操作来说,HBase无法在查询到之前的数据并进行修改,只能顺序读写,追加记录。那HBase只能追加记录了,为了更新或删除数据,HBase会插入一条一模一样的新的数据,但是key type会标记成Delete状态,以标记该记录被删除了。在读取的时候如果取到了是Delete,而且时间是最新的,那么这条记录肯定是被删掉了。

《HBase数据的删除和更新》 HFile存储格式

HFile的存储格式如图所示,每一个单元格或者KeyValue在HFile中的格式如下:
row length + row key + family length + column family + column qualifier + timestamp + key type
同样,进行更新操作的时候,也会重新插入一条新的数据来代替在原来数据上修改。新的数据的timestamp会大于老的数据,这样读取的时候,判断时间戳就可以取出最新的数据了。
由于HBase这样的删除和更新机制,如果后面没有一个对于过期数据处理的机制,会导致过期数据越来越大,因此后面的compact操作中的major compact就顺便将过期的数据删除掉了。
对于标记为删除的数据,直接删除。对于不同时间戳的多条数据,根据其保存的最大版本数据,删除过期的数据。当然做major compact的原因不仅仅能够删除过期数据,还有其他原因,比如合并数量过多的HFile,具体机制以后再分析。

参考:
http://blog.csdn.net/iam333/article/details/40431371
https://www.zhihu.com/question/21849618/answer/128580488

    原文作者:虾米在海飘
    原文地址: https://www.jianshu.com/p/b3c7dce83abe
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞