Filter的作用是谓词下推,就是在Scan查询数据时,将过滤数据的操作放到服务端进行,减少数据的传输,减少网络IO。 介绍Filter使用方法的文章很多,就不再赘述了,主要记录下如何自定义Filter。 解析 在一次S…
分类:HBase
hbase数据存储
自0.96版本之后,hbase 源码结构上做了很大的优化,目录结构也发生了变化,做了精简和优化,这里以1.2.0-cdh5.7.2为例介绍,目录如下: 1,在hdfs的路径 [root@namenode1 ~]# had…
HBase 常用运维命令
进入console $ hbase shell 表的管理 1. 查看表 hbase> list 2. 创建表 # syntax: create <table>, {NAME => <fami…
hbase java api 的使用
[TOC] 1 hbase java api的使用 hbase的java api在windows中使用,第一次连接时,会有点慢,大概需要二十秒左右,连接上去就很快了,在linux没有这个问题 1.1 初始化连接 priv…
hbase scan的startRow和endRow
举一个场景,安全领域的溯源分析,查询维度包括ip,时间戳,端口,协议,可能根据前两的维度的一个或者几个进行原始日志查询,我们可以把原始日志存储到hbase中,而前面提到的几个维度可以分别作为key的一部分。 首先我们应该…
HBase集群运维与优化
1、HBase安全重启HRegionServer bin/graceful_stop.sh --restart hostname 以上命令执行的时候,HBase会把hostname下的region安全转移到集群的其他机器…
Hadoop使用场景介绍
大数据依然是火的不要不要的,作为大数据基础的Hadoop自然也会备受重视,那么Hadoop的使用场景有哪些?小编给大家介绍下。 1,大数据量存储:分布式存储 2,日志处理:Hadoop擅长这个 3,海量计算:并行计算 4…
配置安装Hadoop
将hadoop2.7.1打包下载 上传到需要安装的服务器上,解压(pwd显示目录) Zip文件的解压不能使用tar,要使用unzip [root@master ~]# unziphadoop-mapreduce-wyz-…
【大数据】Hbase问题
hbase运行shell时ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决: 所有机执行时间同步 root@py-s…
【HBase 运维】不停服务迁移方案汇总
迁移对于运维来说,是家常便饭,不停服迁移是对DBA的考验,下面混总了目前了解到迁移方案: 利用replication 和 snapshot 完成数据迁移, 业务自动切换 步骤: 建立两个集群的replication,主从…
JanusGraph 0.2.0 gremlin-hadoop数据导入配置
janusgraph 0.2.0 相关问题与解决方案 由于janusgraph 0.2.0的lib文件夹下面缺少hadoop-hdfs-2.7.2.jar,需要手动添加相关文件到lib文件夹下面。 No FileSyst…
#HBase搭建
参考博文,照搬即可 https://my.oschina.net/zc741520/blog/388718 下载 首先参考:http://hbase.apache.org/book.html#_configuration…