我之前参与过一个日志系统的开发，存储用HBase。我简单罗列下用到的HBase优化，备忘。以后把它整理成更友好的介绍性文章。 系统简介 有一张大的日志数据表，保存所有日志。row key是 hash + app id +…

Apache HBase的适用场景 | Ji ZHANG’s Blog http://shzhangji.com/blog/2015/03/08/hbase-dos-and-donts/ 原文：http://…

HBase版本：1.2.6 1. HBaseUtil.java import java.io.IOException; import java.util.Date; import java.util.List; impo…

hive与hbase 如果hive相当与hadop中的传统关系数据数据库，那么hbase就是hadoop中的nosql,非关系型数据库 安装 环境hadoop,zookeeper 1.解压hbase 2.编辑hbase_…

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议. 由于五一假期, 成文较为简略, 一些细节部分并没有详细介绍, 如有需求, 可以参考之前几…

1.进入hbase shell console $HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hba…

先放一张自己总结的图 [图片上传失败…(image-619f9f-1540812453635)] 数据模型 一个RegionServer会管理多个Region，一个表的一段键值会生成一个Region，个别情况…

本文来自网易云社区 作者：闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu，kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢…

python使用happybase连接hbase出错，代码如下： import happybase c = happybase.Connection('127.0.0.1',9090, autoconnect=False…

写在最前面：今日都是纯文字的笔记，希望朋友们能耐心看 rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以byte[] 形式保存，一般设计…

HBase API HBase 2.0.1 API 常用类： 使用org.apache.hadoop.hbase.client.ConnectionFactory来创建HBase数据库连接org.apache.hadoo…

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，…