本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议. 由于五一假期, 成文较为简略, 一些细节部分并没有详细介绍, 如有需求, 可以参考之前几…
标签:hbase
异常:sqoop,hbase,NoSuchMethodError,HTableDescriptor,addFamily
场景 Sqoop 1.4.6 Mysql 5.6 Hadoop 2.6.4 HBase 1.2.2 将mysql的数据导入到hbase中 Commond sqoop import --connect jdbc:mysql…
HBase-拆分&合并
1 Region拆分 一个Region代表一个表的一段Rowkey的数据集合,当Region太大,Master会将其拆分。Region太大会导致读取效率太低,遍历时间太长,通过将大数据拆分到不同机器上,分别查询再聚合,H…
Hive和Hbase的整合,实现Hive读取Hbase数据的目的
一、版本信息和环境 1、版本信息(全是Apache版本): hadoop-2.6.0 hbase-1.2.6.1 apache-hive-1.1.0-bin 2、环境: hadoop+hive+hbase的伪分布,前提是…
关于HBase元数据cache的一个小坑
问题过程描述 最近在做关于HBase相关的工作,刚接入了1个关于数字证书的表,业务在灰度的时候发现有大量的超时的请求(备注:默认3秒超时),如下图,基本所有的请求都出现失败: 这…
HBase学习 - HRegionServer启动
本文基于hbase-1.3.0源码 1. 前言 本文主要介绍hbase里region server的创建和启动过程中所做的工作,是一个纯粹的记录性工作。 2. HRegionServer启动过程 HRegionServe…
HBase Java API 03:HBase与MapReduce整合
HBase版本:1.2.6 1. 案例说明 现有hbase表”student”,其中内容如下: hbase(main):025:0> scan 'student' ROW COLUMN+CE…
hadoop笔记8--HBase的eclipse环境开发
上一篇记录了HBase的shell中的基本操作,这一篇看看用java来实现那些相应的操作。 首先进入hadoop目录和Hbase目录,将伪分布式hadoop环境和Hbase启动: # 进入hadoop目录 sbin/st…
简洁的 hbase 集群安装
机器的 IP 与 hostname 192.168.66.3 master 192.168.66.4 slave01 1.安装zookeeper(参考kafka集群部署中的zookeeper安装) 2.配置时间同步 使用…
HBase作为JanusGraph图数据库存储
目的 JanusGraph作为一个分布式的图数据库,支持很多的数据库作为它的图数据存储介质。这里将介绍运用HBase作为JanusGraph的存储数据库。 JanusGraph & HBase 优点 能够很好的和…
Storm应用实例--集成HBase
本文展示一个Storm的topology,该topology对给定的词源进行词频统计,然后存入HBase,该实例不借助storm-hbase包,而是直接使用hbase client来完成对HBase的操作。 引言 由Tw…
Ubuntu16下安装使用HBase
软件与环境 虚拟机:VirtualBox 操作系统(在VirtualBox上安装的):ubuntu-16.04 软件:hbase-1.2.4 、 jdk1.8.0_161 操作步骤: (1)下载,解压缩HBase 打开终…