1 Region拆分 一个Region代表一个表的一段Rowkey的数据集合,当Region太大,Master会将其拆分。Region太大会导致读取效率太低,遍历时间太长,通过将大数据拆分到不同机器上,分别查询再聚合,H…
标签:hbase
2018-07-09 HBase shell commands
HBase shell commands As told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell as a fe…
跨集群hbase表迁移
HBase提供了copyTable,相当于distcp,但影响在线应用 使用创建快照,跨集群传送集群,然后再还原快照,这个方法的前提约束:两个集群hbase的版本必须一致 在源集群创建快照 snapshot 'v2', …
Spark整合HBase(自定义HBase DataSource)
背景 Spark支持多种数据源,但是Spark对HBase 的读写都没有相对优雅的api,但spark和HBase整合的场景又比较多,故通过spark的DataSource API自己实现了一套比较方便操作HBase的A…
hbase DroppedSnapshotException
hbase夯机问题: FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server : Replay of WAL re…
HBase操作
http://blog.csdn.net/fengzheku/article/details/48447791 packagecom.infobird.test1; importjava.io.IOException; …
HBase:如何用列表列表等嵌套字段保存对象?
假设我有一个类Customer,它有简单的字段,如firstName,lastName等,还有一个Contacts列表作为字段,每个Contact对象都有一个电子邮件列表和一个电话号码列表.我已经知道HBase架构如何使…
HBase学习 - HRegionServer启动
本文基于hbase-1.3.0源码 1. 前言 本文主要介绍hbase里region server的创建和启动过程中所做的工作,是一个纯粹的记录性工作。 2. HRegionServer启动过程 HRegionServe…
HBase-线上问题排查思路
1 写入阻塞 表现为服务器数据无法写入,RegionServer经常宕机,修复方法优先级从高到低: 1.1 RegionServer堆内存设置太小 默认1GB,Memstore占40%,非常容易阻塞 1.2 HFile达…
hbase与zk的独立部署(standalone)
hbase版本:hbase-0.98.20-hadoop2(经测试发现1.*版本以上无法完成standalone部署) zk:最新版 1、下载并解压habse 2、修改 conf下hbase-env.sh文件,添加下面两…
关于 hbase 分页的一点思考
hbase 是一款出色的 nosql 模型,最近有个业务数据量太大,好几亿,分库分表的话虽然业内已有成熟的方案,但是会带来一定运维成本,且业务需要关心 shard 的维度,考虑了 hbase 方案,如果hbase 各项测…
HBase 安装和配置
集群安装 环境要求 已经安装Hadoop 下载HBase安装包 http://mirror.bit.edu.cn/apache/hbase/1.2.6/ 解压到任意目录 tar -zxf hbase-1.2.6-bin.…