1、用bulk批量写入 你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的…

BULK语句基础 BULK有很多参数，但是常用的只有几个，下面简单介绍一下 bulk insert [DatabaseName].[dbo].[table] from 'C:\data.txt' with( FIRSTR…

笔者所在的公司，最近遇到了一个非常诡异的问题-我们在执行Get操作时，发现迟迟不能返回，等了好久都超时了。而此时超时时间我们实际上已经设置成了20分钟。 另一个诡异的问题是，我们发现，当去那些超时的RegionServe…

spark环境下使用bluk load方式推hbase 背景介绍 Hbase作为一种常用的数据存储工具，对应解决大数据实时查询问题，有良好的解决方案，但是在使用用过程中发现在短时间内推入大规模数据存在性能瓶颈，使用API…

将各种类型的数据库或者文件导入到HBase，常见有三种方法：   （1）使用HBase的API中的Put方法   （2）使用HBase 的bulk load工具   （3）使用定制的MapR…

前言 之前写过一篇文章，如何提高ElasticSearch 索引速度。除了对ES本身的优化以外，我现在大体思路是尽量将逻辑外移到Spark上,Spark的分布式计算能力强，cpu密集型的很适合。这篇文章涉及的调整也是对S…