本文旨在快速搭建一套Hadoop及HBase的分布式环境，自己测试玩玩的话ok，如果真的要搭一套集群建议还是参考下ambari吧，目前正在摸索该项目中。下面先来看看怎么快速搭建一套分布式环境。 准备 三台虚拟机：1台作为…

HBase HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（F…

<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifact…

Use Spark to read and write HBase data 启动 hbase start-hbase.sh 在 HBase 中准备 sample 数据 1、运行 HBase shell hbase sh…

       以后很长一段时间会负责关于hbase的工作，所以开始看hbase源码了，本来想通过jar2uml这类工具来弄出hbase的uml图，但是效果不是很好。后来仔细想想hb…

https://juejin.im/post/5c02717d6fb9a049de6d1adc

背景: 项目需要读取Hbase并把计算结果保存在Hbase里供其他接口获取。 算法由pyspark实现。 原先Hbase的Thrift接口三天两头宕，而且性能低下。 充满糟点的background结束 结论： 先说结论，…

一：HBASE权限user HBASE的user底层使用的还是hadoop的user； 构造connection类： public static Connection createConnection(Configura…

背景 使用java或者scala写一个通过JDBC方式连接Phoenix进行查询的程序时，需要调整一些Phoenix的参数，例如线程的数量phoenix.query.threadPoolSize，但是按照官方文档只是说把…

配置完全分布式的 HBase 一、 配置 HBase 下载 HBase ，例如 hbase-1.2.5.tar.gz 。 解压到 /app 目录并设置目录权限。 编辑 hbase-env.sh （位于 /app/hbas…

亲自测试通过。 方法一： 使用Ctrl + Backspace组合键删除 方法二： 进入到XShell 文件 –> 属性 –> 终端 –> 键盘 在 DELETE键序列 和 BACKSPACE键序列 中…

这篇文章是给Spark初学者写的，老手就不要看了。文章谈及如何和HBase/Redis/MySQL/Kafka等进行交互的方法，主要是为了让大家明白其内部机制 一些概念 一个partition 对应一个task,一个ta…