Hive压缩之二 小文件合并   调研背景 当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM…

线上问题：org.springframework.dao.DuplicateKeyException: PreparedStatementCallback; SQL [update fl_table set id = ?…

--需要装换的日期格式如下 Updatetime Nov 1 2018 11:37AM --SQL语句 SET Language US_ENGLISH SELECT (CONVERT(DATETIME, Updateti…

TL;DR 无意中看到了一篇讲 数据批量导入 的文章，才注意到 PostgreSQL 的 COPY 命令。简而言之，它用来在文件和数据库之间复制数据，效率非常高，并且支持 CSV 。 导出 CSV 以前做类似的事情都是用…

如果消息队列必须用数据库表来实现，那么就要注意： 表当中一定要有流水号字段，类型最好是数字，排序方便； 插入记录时，流水号必须是唯一且递增的。 取记录的方式是定时轮询。不要一次把所有记录取出来，而是按流水号排序，取前若干…

主键的作用: 1）保证实体的完整性; 2）加快数据库的操作速度 3）在表中添加新记录时，数据库会自动检查新记录的主键值，不允许该值与其他记录的主键值重复。 4) 数据库自动按主键值的顺序显示表中的记录。如果没有定义主键，…

一、索引 1、索引的作用 快速存取数据 既可以改善数据库性能，又可以保证列值的唯一性 实现表与表之间的参照完整性 在使用ORDER BY，GROUP BY子句进行数据检索时，利用索引可以减少排序和分组的时间 2、索引的分…

一、数据库种类有哪些 早期较为时兴的数据库种类有三种，分别是层次式数据库、网络式数据库和关系型数据库。而在如今的互联网中，最常见的数据库种类主要有2种，即关系型数据库和非关系型数据库。 二、层次数据库介绍 层次数据库是最…

Related Resources rsync:http://rsync.samba.org/ Crontab:http://unixhelp.ed.ac.uk/CGI/man-cgi?crontab+5 “…

Redis 内存压缩实战 – 后端 – 掘金在讨论Redis内存压缩的时候，我们需要了解一下几个Redis的相关知识。 压缩列表 ziplist Redis的ziplist是用一段连续的内存来存储…

UPDATE BIZ_DEALER set BANK_ACCOUNT = REGEXP_REPLACE(BANK_ACCOUNT,'\d','0'); 由于不想让看到真实的银行账号，所以就把他们都设置成0了，这样可以保持…

数据库有两种类型，分别是关系型数据库与非关系型数据库。 1、关系数据库 包括：MySQL、MariaDB（MySQL的代替品，英文维基百科从MySQL转向MariaDB）、Percona Server（MySQL的代替品…