0. 蜜汁参数 在做 HBase 客户端 scan 优化时,经常会碰到以下几个参数,总是让人迷惑 ,不知从何优化起。 .setCache (缓存大小? 字节数?行数?) .setMaxResultSize (最大结果数?…
分类:HBase
sparkSQL统计HBase表,写入mysql
val hbaseConf = org.apache.hadoop.hbase.HBaseConfiguration.create() hbaseConf.set("hbase.zookeeper.quorum","s1…
hbase客户端实现对hbase的doas impersonate
默认的方式 hbase提供了对访问hbase时,使用doas impersonate的访问方式是通过thrift和rest两种方式,分别可以配置: thrift配置 <property> <name&g…
Hbase 安装步骤
1.完成 JDK 安装(略) 2.完成 hadoop 安装(略) 3.把 hbase 安装包复制到 “/usr/local” cd /usr/local tar -zxvf hbase-0.94.…
phoenix开启schema对应hbase中的namespace
开启schema与namespace的对应关系 如果使用了hbase中的自定义namespace,不仅仅使用default,那么在phoenix中与之对应的是schema的概念,但是默认并没有开启,需要在hbase-si…
HBase和Kryo混合使用时出现的jar包冲突
HBase 1.1.2 + Kryo 4.0.1组合使用,kryo将数据序列化为byte数组后入到HBase中,查询程序将HBase取出来后,调用Kryo反序列化,突然出现了下面的错误,出现了jar包版本冲突了 Exce…
HBase基础(二):DDL和DML常用操作
1、shell操作 1、执行shell命令 $ bin/hbase shell 2、输入help获取帮助信息 3、shell命令行的删除,需要按住ctrl+删除键才可以删除 4、version 获取当前hbase版本 5…
apache phoenix Table 'SYSTEM.CATALOG' was not found
最近在EMR 使用apache phoenix 连接 hbase 总是报错 # [org.apache.hadoop.hbase.TableNotFoundException: SYSTEM.CATALOG except…
Spark 下操作 HBase(1.0.0 新 API)
HBase经过七年发展,终于在今年2月底,发布了 1.0.0 版本。这个版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟悉下新版…
大数据ZooKeeper快速入门
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域…
Hbase学习笔记-HbaseJava
Hbase Java API: secureCRTXstart远程桌面连接 maven项目pom文件maven-cdh仓库地址hbase&Hadoop依赖 createTable ->读取配置文件Hbase…
Hbase常见错误解决方法
1、NoSuchColumnFamilyException org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: org.apache.had…