一 前言 单表数据量太大时,数据库通过建立分区表的方式,从而达到对大表进行拆分,使每个分区的子表数据规模适中,方便数据管理与常规查询分析等,分区表是数据库比较常用的数据管理需求。 当前PostgreSQL 11版本及其社…
标签:es
PostgreSQL初探
1. 简介 PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES, Version 4.2为基础的对象关系型数据库管理系统(ORDBMS)。POSTGRES开创的许多概念在很久以后才出现在商业数据库…
postgresql 普通表 内存表 无日志表 的性能对比
结论: 与普通表比较,内存表的性能提升不明显; 与普通表比较,无日志表在插入时性能提高约1倍、更新和删除时提高约…
如何在Ubuntu下安装Postgresql数据库
PostgreSQL 是自由的对象-关系型数据库服务器(数据库管理系统) 在ubuntu下安装Postgresql是一件非常容易的事情: 安装Postgresql的服务器以及客户端: sudo apt-get insta…
PostgreSQL 与 ElasticSearch 同步
碰到个全文搜索的需求,鉴于上家公司的业务日志查询用的就是 ELK ,效果还不错,所以用 ElasticSearch 做搜索引擎感觉问题不大。由于是针对业务数据做全文搜索,数据存在数据库里,所以将这些数据同步到 ES ,怎…
elasticsearch-spark更新文档
先看源码: import org.apache.spark.{SparkConf, SparkContext} import org.elasticsearch.spark._ /** * Created by magn…
hive读取es数据
参考: hive读写es数据 http://blog.csdn.net/u013063153/article/details/60757307 官方文档 hive集成es https://www.elastic.co/g…
自定义Spark Partitioner提升es-hadoop Bulk效率
前言 之前写过一篇文章,如何提高ElasticSearch 索引速度。除了对ES本身的优化以外,我现在大体思路是尽量将逻辑外移到Spark上,Spark的分布式计算能力强,cpu密集型的很适合。这篇文章涉及的调整也是对S…
ES-Spark连接ES后,ES Client节点流量打满分析
问题描述 前段时间用es-spark读取es数遇到了client节点流量打满的现象。es-spark配置的es.nodes是es的域名。由于其中一个client是master节点,然后普通查询变得特别慢,运行20多分钟后…
spark 使用elasticsearch-spark connector读取ES 跳坑记录
背景:我们希望将es中的数据通过elasticsearch-hadoop、或是elasticsearch-spark connector将其映射成hive\spark-sql 表,然后通过HQL,spark-s…
es导出hive遇到的问题汇总
首先直接上干货: 步骤 导入elasticsearch-hadoop-hive-5.5.2.jar包 创建hive外部表,数据源设置为es中,添加相应的配置 创建内部表拉取数据 add jar file:///home/…
Hive-ES配置实例
配置过程如下: 1)添加jar包 add jar file:///path/to/elasticsearch-hadoop-hive-5.2.0.jar; 2)创建一个hive-es对应表 create external…