概述     本文的主要目的是分析zookeeper的整个数据写入过程，相信大家或多或少都听说过zookeeper是一个集中式的单点写入过程，所有的写入请求都会转发到Leader来完成数据的写入过程，…

上一篇 redis cluster集群部署 ， 主要讲解 redis cluster 集群 搭建，本篇主要讲解实验多master写入、读写分离、实验自动故障切换（高可用性），下面直接开始吧。 上一篇我们搭建完了redis…

一、背景 项目中有需求，要频繁地、快速地向一个表中初始化数据。因此如何加载数据，如何提高速度是需要解决的问题。 一般来说，作为数据存储系统会分为检索和存储两部分。检索是对外暴露数据查询接口。存储一是要实现数据按固定规则存…

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，…

在开发中，突然遇到了发现Hbase的读取和写入变的非常慢，然后再次检查了代码，有两个地方更改后性能有大幅的提升，说明如下。 网上优化可能很多，这个只是我简单的实践记录。 1 读取优化 Scan操作时候设置缓存 resul…

对hbase调优首先需要对hbase架构有一个初步认知。 hbase写数据 在HBase 中无论是增加新行还是修改已有的行，其内部流程都是相同的。HBase 接到命令后存下变化信息，或者写入失败抛出异常。 默认情况下，执…

本文转载自：http://hbasefly.com/2016/12/10/hbase-parctice-write/ 上一篇文章主要介绍了HBase读性能优化的基本套路，本篇文章来说道说道如何诊断HBase写数据的异常问…

首先我们简单回顾下整个写入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL =…

本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128…

       HBase中的写入方法有主要分为实时的put以及批量导入bulkload，这里主要介绍一下实时写入put以及一些HBase里面与MVCC相关的东西，版本依旧是社区版1…

sqlite作为内嵌式数据库，具有轻量级的特点。实现了自给自足、无服务器、零配置、事务性的SQL数据库引擎。 因为其轻量级的特点，移动端中多采用它作为本地存储引擎。后端服务中，也由于其轻便、事务兼容ACID等（关于ACI…

SQLite单表4亿订单，大数据测试 SQLite作为嵌入式数据库的翘楚，广受欢迎！ 新生命团队自2010年以来，投入大量精力对SQLite进行学习研究，成功应用于各系统非致命数据场合。 SQLite极致性能 1.关闭同…