接前面的文章 “使用Sqoop从Postgresql中导入数据到Hive中”，今天看看怎样从 Postgresql 入数据到 HBase 中。 这里有一点需要注意的是 Sqoop 1.4.7 目前不支持 HBase 2.…

1. hbase.tmp.dir 描述 本地文件系统上的临时目录。将此设置更改为指向比’/ tmp’更永久的位置，这是java.io.tmpdir的常用解决方案，因为’/ tmp…

scan 'JOB_INFO', {FILTER => org.apache.hadoop.hbase.filter.PrefixFilter.new(org.apache.hadoop.hbase.util.By…

本文基于hbase-1.3.0源码 1. HMaster启动 HMaster继承了HRegionServer，实现了MasterServices。 HMaster继承了HRegionSever,前文提到HRegionSe…

在使用HBase shell的时候，每次打开之前执行过的命令都清零了，对于我这种记不住命令的人，每次都需要help，实在有些烦躁，有什么办法能让系统记录执行过的命令？ 设置起始很简单，做如下配置就OK 在当前用户的hom…

HBase之MapReduce 由于HBase2.0API变化较大，HBase-MapReduce也有所变化，本文以2.0API为准做一些HBase的MapReduce操作。 首先是POM文件： 简化版：HBAse2.1…

给定一个非负整数组成的非空数组，在该数的基础上加一，返回一个新的数组。 最高位数字存放在数组的首位， 数组中每个元素只存储一个数字。 你可以假设除了整数 0 之外，这个整数不会以零开头。 示例 1: 输入: [1,2,3…

Hbase介绍 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普…

一、 性能测试 1 PerformanceEvaluation $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation 2 YCSB [YC…

1 Region拆分 一个Region代表一个表的一段Rowkey的数据集合，当Region太大，Master会将其拆分。Region太大会导致读取效率太低，遍历时间太长，通过将大数据拆分到不同机器上，分别查询再聚合，H…

HBase shell commands As told in HBase introduction, HBase provides Extensible jruby-based (JIRB) shell as a fe…

HBase提供了copyTable，相当于distcp，但影响在线应用 使用创建快照，跨集群传送集群，然后再还原快照，这个方法的前提约束：两个集群hbase的版本必须一致 在源集群创建快照 snapshot 'v2', …