【大数据】Hbase如何批量删除指定数据

2024年2月17日 61次阅读 来源: noSql

一、起因：

　　Hbase是一个列式存储，nosql类型的数据库，类似mongodb。

　　目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall ‘tablename’, rowkey

 

二、删除方法：

　　方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 rowkey ，拼成删除命令（deleteall ‘tablename’, rowkey），写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt 

　　方法二：通过建映射表，比如在 hive 建一个映射表，然后写 hql 查出需要删除的 rowkey ，拼成删除命令（deleteall ‘tablename’, rowkey），写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt 

　　方法三：通过python/ java 代码，调用 hbase 的单行删除方法，写个循环删除 

　　方法四：通过建映射表，比如在 hive 建一个映射表，将 需要保留的数据 通过 hql 查询出来，备份到 hive 的一张临时表 ；然后 在hbase shell 里面 执行 truncate ‘tablename’ ，清空 hbase 的数据； 最后 在将数据 从 hive 的备份表 读出来，插入 映射表，写回 hbase；

　　总结：

　　前面3种方法，本质上都是在 hbase 中逐行删除；而第4种方法，是利用hive的map reduce倒数据。对于不熟悉 hbase 和 java 语法的开发人员而言，使用24方法，是灵活性最好的。

 

三、代码：

　　假设hbase有一张表，表名：test_turboway，列族：cf，以第二种删除方法为例：

　　1、hive 建映射表：

CREATE EXTERNAL TABLE edw.test_turboway_hbase(
  `keyid` string COMMENT 'from deserializer',
  `title` string COMMENT 'from deserializer',
  `bizdate` string COMMENT 'from deserializer',
  `loginid` string COMMENT 'from deserializer')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY
  'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
  'hbase.columns.mapping'=':key,cf:title,cf:bizdate,cf:loginid',
  'serialization.format'='1')
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='false',
  'hbase.table.name'='test_turboway',
  'numFiles'='0',
  'numRows'='-1',
  'rawDataSize'='-1',
  'totalSize'='0',
  'transient_lastDdlTime'='1543297130')

　　2、记录hive查询要删除的数据，拼成命令：

hive -e "select concat('deleteall \'test_turboway\',\'',keyid,'\'') from edw.test_turboway_hbase where loginid = '20181122'" > del_temp.txt && echo 'exit' >> del_temp.txt

　　3、hbase shell 执行删除命令

hbase shell del_temp.txt > del.log

 

    原文作者：noSql
    原文地址: https://www.cnblogs.com/TurboWay/p/10193998.html
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞