本文旨在介绍 Spark 通过JDBC读取数据时常用的一些优化手段 关于数据库索引 无论使用哪种JDBC API，spark拉取数据最终都是以select语句来执行的，所以在自定义分区条件或者指定的long型column…

思路： SQL优化我们从以下三个方面进行： 1、数据库设计； 2、索引设计； 3、查询优化； 一、数据库设计 1.尽可能在数据库设计时，不要使用NULL，尽可能使用NOT NULL； 备注、描述、评论之类的可以设置为 N…

1、注意区分字符串和数字 在一次使用set类型数据的过程中，先将一部分数据通过json_encode保存到某一个set的特定键中。 然后，在更新这个字段的时候先判断是否存在，这时候就被一些是整形类型的字段给坑了。 因为，…

1、将经常要用到的字段（比如经常要用这些字段来排序，或者用来做搜索），则最好将这些字段设为索引 2、字段的种类尽可能用int或者tinyint类型。另外字段尽可能用not null 3、当然无可避免某些字段会用到text…

最近工作中遇到一个问题： 对于分区表添加字段，向已存在分区中插入数据，结果新增字段的值全部为null。 注：是已存在分区，新的分区并不会产生该问题；无论是内部表还是外部表均有该问题。 解决办法:删除旧分区，重跑数据（因为…