HBase是一个在HDFS上开发的面向列的分布式数据库。如果需要实时地随机访问超大规模数据集,就可以使用HBase。本篇介绍HBase的基础知识,包括安装配置、部署运行、表的创建和Java api的使用。 一、安装 1.…
标签:hbase
Spark访问与HBase关联的Hive表
Spark访问与Hbase关联的Hive表需要引用jar 包 hive-hbase-handler-<version>.jar 不然要报错 MetaException(message:java.lang.Cl…
HBase学习笔记——高表与宽表的选择
hbase中的宽表是指很多列较少行,即列多行少的表,一行中的数据量较大,行数少;高表是指很多行较少列,即行多列少,一行中的数据量较少,行数大。 hbase的row key是分布式的索引,也是分片的依据。 hbase的ro…
Spark读写HBase之使用Spark自带的API以及使用Bulk Load将大量数据导入HBase
1. 需要的jar包依赖 <properties> <spark.version>2.3.0</spark.version> <hbase.version>1.2.6<…
sparkSQL统计HBase表,写入mysql
val hbaseConf = org.apache.hadoop.hbase.HBaseConfiguration.create() hbaseConf.set("hbase.zookeeper.quorum","s1…
hbase客户端实现对hbase的doas impersonate
默认的方式 hbase提供了对访问hbase时,使用doas impersonate的访问方式是通过thrift和rest两种方式,分别可以配置: thrift配置 <property> <name&g…
Hbase 安装步骤
1.完成 JDK 安装(略) 2.完成 hadoop 安装(略) 3.把 hbase 安装包复制到 “/usr/local” cd /usr/local tar -zxvf hbase-0.94.…
phoenix开启schema对应hbase中的namespace
开启schema与namespace的对应关系 如果使用了hbase中的自定义namespace,不仅仅使用default,那么在phoenix中与之对应的是schema的概念,但是默认并没有开启,需要在hbase-si…
HBase和Kryo混合使用时出现的jar包冲突
HBase 1.1.2 + Kryo 4.0.1组合使用,kryo将数据序列化为byte数组后入到HBase中,查询程序将HBase取出来后,调用Kryo反序列化,突然出现了下面的错误,出现了jar包版本冲突了 Exce…
HBase基础(二):DDL和DML常用操作
1、shell操作 1、执行shell命令 $ bin/hbase shell 2、输入help获取帮助信息 3、shell命令行的删除,需要按住ctrl+删除键才可以删除 4、version 获取当前hbase版本 5…
apache phoenix Table 'SYSTEM.CATALOG' was not found
最近在EMR 使用apache phoenix 连接 hbase 总是报错 # [org.apache.hadoop.hbase.TableNotFoundException: SYSTEM.CATALOG except…
Spark 之 Spark-SQL-HBASE Error java.lang.IllegalStateException: unread block data
最近遇到这样一个业务场景: 业务数据存储于 Hbase 中,并在 Hive 表中建立了 HBASE 映射表,已实现在 Hive 及 Impala 中可查,现想通过 Spark-SQL 进行查询,其中 Spark 集群基于…