一、需求 从students中找到rowkey是007的所有数据 regionserver: rs5 regionserver: rs6 二、从zookeeper中找到存放meta表的regionserver 1、连接z…
标签:hbase
Spark整合HBase(自定义HBase DataSource)
背景 Spark支持多种数据源,但是Spark对HBase 的读写都没有相对优雅的api,但spark和HBase整合的场景又比较多,故通过spark的DataSource API自己实现了一套比较方便操作HBase的A…
ARM平台安装HBASE数据库
/* HBase是一个分布式的、面向列的开源数据库。在上一篇文章中我在ARM板集群上搭建了Hadoop环境,现在继续在此基础上安装HBASE数据库。基本软件环境和硬件配置也请参考上面那篇文章。 */ 1. 下载安装包 去…
CDH: HBase thrift server意外退出
最近用Cloudera的CDH5来跑HBase和HBase thrift server。运行过程中HBASE thrift会意外退出,周期不定,三天两头。 hbase thrift 意外退出(Cloud Manager)…
HBase分析之概念
想要理解HBase,只需看华为的这几张图就可以了。 -END-
hbase的hbase-site.xml配置说明
[TOC] 摘录一 hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是’完全正确’的,还要包含文件系统的scheme。例如,要表示hdf…
Impala读取HBase外部表的一个坑
最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的,但是导入到impala后查到的确为NULL。先交代一下背景。数据平台的数据流水线如下: 数据流水线 数据上报后首先写入到M…
opentsdb+hbase的安装部署
以下安装部署都是在centos 7系统下安装部署的。 OpenTSDB是基于HBase存储时间序列数据的一个开源的数据库,是HBase的一个应用。所以安装OpenT…
HBase学习笔记(二)HBase架构
HBase Architectural Components(HBase架构组件) HBase架构也是主从架构,由三部分构成HRegionServer、HBase Master和ZooKeeper。 RegionServ…
HBase HA的安装
HBase 简介 HBase是一个分布式的、面向列的开源数据库,就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,hbase在Hadoop之上提供了类似于Bigtable…
HBase Region 自动拆分策略
HBase-2.x支持7种Region自动拆分Region的策略,类图如下: 其中BusyRegionSplitPolicy是HBase-2.x新增的策略,其他6种在HBase-1.2.x中也可以使用。 设置自动拆分策略…
HBase PageFilter踩坑之旅
个人博客 有这样一个场景,在HBase中需要分页查询,同时根据某一列的值进行过滤。 不同于RDBMS天然支持分页查询,HBase要进行分页必须由自己实现。据我了解的,目前有两种方案, 一是《HBase权威指南》中提到的用…