从源hbase集群中复制出HBase数据库表到本地目录 hadoop fs -get scp到目的集群 hadoop fs -put 到目的集群HDFS 亦可使用distcp将集群复制至目标集群 具体办法参考：DistC…

kylin 在部署的时候需要考虑的几点： 1，不能污染现有的大数据环境，通过大数据客户端的方式提供部署的机器。 2，读的负载均衡问题，需要有session，权限等粘滞的功能。选择好负载均衡工具，haproxy，nginx…

启动hadoop 和zookeeper 1.解压 tar -zxf hbase-0.98… -C /opt/moduels/ 2.修改配置文件 hbase-env.sh hbase-site.xml regi…

前两天到现场的测试环境部署HBase生命周期（实际上也是部署了2.4版本进行测试）问题还是有点多的，简单记录一些现在还记得的问题与解决办法。 1.开始遇到了Kerberos…只想说这是个坑，拿到了keytab…

AdMaster 如何驾驭百亿级Key实时Redis 集群 – lxw的大数据田地 http://lxw1234.com/archives/2016/09/716.htm 数据初始化之前，我们先利用【hbase将日志的i…

Hbase安装 wget http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz 导出到系统环境变量 export HBASE…

一、背景 项目中有需求，要频繁地、快速地向一个表中初始化数据。因此如何加载数据，如何提高速度是需要解决的问题。 一般来说，作为数据存储系统会分为检索和存储两部分。检索是对外暴露数据查询接口。存储一是要实现数据按固定规则存…

HBase版本：1.2.6 Hive版本：1.2.1 1. 把HIVE_HOME/lib/hive-hbase-handler-1.2.1.jar 复制到HBASE_HOME/lib/下 2. 把HBASE_HOME/l…

之前一直将offset存到zookeeper，由于streaming程序会对zk有大量的读取操作，故将offset存到zk不太好，现已将offset都改到hbase中 kafka版本：0.10.2.0 spark版本：2…

声明：作者原创，转载注明出处。 作者：帅气陈吃苹果 （一）安装 下载、解压： wget http://mirror.bit.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz…

HBase 不一致表现为： region不一致：当一个region被分配到多个regionserver或者没有regionserver持有该region时，则产生region不一致； 表不一致：当某个表的多个region…

HBase优化相关 HBase查询优化 1、设置scan缓存 scanner.SetCaching(10000) 定义一次交互从服务器端传输到客户端的行数。 2、显式地指定列     减少传输的数据 …