前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下。…
标签:hbase
HBase跨版本数据迁移总结
某客户大数据测试场景为:Solr类似画像的数据查出用户标签——通过这些标签在HBase查询详细信息。以上测试功能以及性能。 其中HBase的数据量为500G,Solr约5T。数据均需要从对方的集群人工迁移到我们自己搭建的…
大数据应用之HBase数据插入性能优化实测教程
引言: 大家在使用HBase的过程中,总是面临性能优化的问题,本文从HBase客户端参数设置的角度,研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩,数据比理论更有说服力,基于此,作者设计了这么一个HBa…
Hbase Shell 数据操作说明
启动、关闭hbase./bin/start-hbase.sh./bin/stop-hbase.sh 查询HBase版本。它的语法如下:hbase(main):010:0> version 建表crea…
HBase加Solr,
HBase加Solr 如何解决分布式系统数据事务一致性问题 (HBase加Solr) 摘要:对于所有的分布式系统,我想事务一致性问题是极其非常重要的问题,因为它直接影响到系统的可用性。本文以下…
【原创】大叔问题定位分享(25)ambari metrics collector内置standalone hbase启动失败
ambari metrics collector内置hbase目录位于 /usr/lib/ams-hbase 配置位于 /etc/ams-hbase/conf 通过ruby启动 /usr/lib/ams-hbase/bi…
Hbase总结(六)hbase37个笔试题
转自:http://blog.csdn.net/lifuxiangcaohui/article/details/39961643 以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间…
2、通过HBase API进行开发
一、将HBase的jar包及hbase-site.xml添加到IDE 1、到安装HBase集群的任意一台机器上找到HBase的安装目录,到lib目录下下载HBase需要的jar包,然后再到conf目录下下载hbase-s…
HBase 常用Shell命令
两个月前使用过hbase,现在最基本的命令都淡忘了,留一个备查~ 进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab…
HBase-GC性能优化
1 JVM调优 1.1 堆内存 默RegionServer的堆内存为1G,这里Memstore默认站40%,也就是400M,在实际场景中很容易因为Memstore太小导致阻塞,修改参数,在cong/hbase-env.s…
HBase shell scan 过滤器用法总结
比较器: 前面例子中的regexstring:2014-11-08.*、binary:\x00\x00\x00\x05,这都是比较器。HBase的filter有四种比较器: (1)二进制比较器:如’binary:abc’…
HBase 在HDFS上的物理目录结构
根目录 配置项 hbase.rootdir 默认 “/hbase” 根级文件 /hbase/WALs 被HLog实例管理的WAL文件。 /hbase/WALs/data-hbase.com,60020,144315938…