在开发中，突然遇到了发现Hbase的读取和写入变的非常慢，然后再次检查了代码，有两个地方更改后性能有大幅的提升，说明如下。 网上优化可能很多，这个只是我简单的实践记录。 1 读取优化 Scan操作时候设置缓存 resul…

最近一直在研究presto接口hive和mysql的一些使用和功能，因此，我在想是否能将数据实时的写入到hive呢，刚好公司项目有需求数据实时写入到hive中，对此，我特定实现了一下。 pom文件 spark-strea…

具体内容参考下面代码的 save 和 load 部分： import android.app.Activity; import android.content.Context; import android.os.Bun…

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，…

一、背景 项目中有需求，要频繁地、快速地向一个表中初始化数据。因此如何加载数据，如何提高速度是需要解决的问题。 一般来说，作为数据存储系统会分为检索和存储两部分。检索是对外暴露数据查询接口。存储一是要实现数据按固定规则存…

ART 堆支持可选的 valgrind 工具，这款工具提供了一种方法来检测对无效堆地址的读取和写入操作。ART 可检测应用何时在 valgrind 下运行，并在每个对象分配前后插入红色区域。如果对这些红色区域有任何读取或…