总结：

一：key分布不均匀
1）key为null或异常值

对key进行打散
通过rand函数将为null的值分散到不同的值上；
对异常值赋一个随机值来分散key

2）key为正常值

1：设置reducer参数值，使用这个参数控制倾斜的阈值，如果超过这个值，新的值会发送给那些还没有达到的reduce
2：增加reduce的数量
3：业务需求方面进行细分

二：group by 产生倾斜的问题
group by既可以分类也可以去重
1：对Map 端部分聚合，相当于Combiner，设置hive.map.aggr=true

2：设置hive.groupby.skewindata=true
控制生成两个MR Job,第一个MR Job Map的输出结果随机分配到reduce做次预汇总,减少某些key值条数过多某些key条数过小造成的数据倾斜问题

即就是生成两个MapReduce Job。第一个Job进行预处理、部分聚合，使得结果是相同的Group By Key可以分发到不同的Reduce中；第二个MapReduce Job将预处理数据结果按照Group By Key分发到Reduce中，完成最终的聚合操作；

三：count distinct大量相同特殊值

count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union(合并)。

四：Join优化
1：将小表刷入内存中，可以设置刷入内存表的大小；将大表放在最后

Join时，Hive会缓存join序列中除了最后一个表的所有记录，在通过最后一个表将结果序列化到文件系统中。这有助于在reduce端减少内存的使用量，实践中，应该把最大的那个表写在最后，否则会因为缓存浪费大量内存（表的大小从左到右是依次增加的）

MapJoin就是在map阶段时进行表之间的连接，而不需要进入到Reduce阶段才进行连接，这样就省下了在Shuffle阶段时要进行的大量数据传输，从而起到了优化作业的作用。

2：本地模式执行任务

如果数据量 比较小，可以通过本地模式执行所有任务，即在执行的过程中通过设置为本地模式，因为本地模式下不会转换为mapreduce任务，而是将本地的数据文件格式输出

五：limit
开启limit优化，使用limit进行抽样查询，不需要全表扫描，缺点是有些需要的数据可能被忽略掉

六：并行执行
hive在执行查询的时候会将查询转化为一个或多个Job链，执行器会按照顺序执行这些Job；如果这些Job没有依赖关系，则可以采取并行方式进行执行。

七：启用严格模式
Hive设置以一种严格模式，防止用户进行一些意想不到的查询
1：分区查询时where中没有分区过滤条件，不允许扫描所有的分区；
2：使用order by时必须使用limit限制，即可以防止reduce的额外执行时间；
3：笛卡儿积，必须使用on字段，而不能使用where字句替代

八：Jvm重用
Hive Hql会转化成MapReduce，MR会将job任务转化为多个任务，每个人物都是一个新的JVM实例，重用这些实例，可以减少性能消耗

默认情况下，每个task都是一个新的JVM实例，都需要开启和销毁。对于小文件，每个文件都会对应一个task，在一些情况下，JVM开启和销毁的时间可能会比实际处理数据的时间消耗要长，JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于小文件的场景，这类场景执行时间都很短

九：调整map和reduce的个数
有些只需要map，不需要reduce；
hive是按照输入数据量的大小调整reducer个数，hive中可以配置一个reducer的数量大小，可以动态的调整；

详细内容

数据倾斜定义

任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。

单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。

1 原因

1)、key分布不均匀

2)、业务数据本身的特性

3)、建表时考虑不周

4)、某些SQL语句本身就有数据倾斜

2 涉及到的操作

涉及到的操作