1. IN query plan 1. NOT IN select * from id_full as a where a.id not in (select id from id_incr where day=2018…
标签:id
Hive案例01-行列转换
介绍Hive查询中的行列转换的用法 1. 案例一:求数学成绩比语文成绩好的学生的ID (1) 需求分析 现有 hive 表 score, 内容如下: hive> select * from score; 1 1 y…
Spark DataFrame 添加自增id
Spark DataFrame 添加自增id 在用SparkSQL 处理数据的时候,经常需要给全量数据增加一列自增ID序号,在存入数据库的时候,自增ID也常常是一个很关键的要素。在DataFrame的API中没有实现这一…
集群搭建(kafka+hadoop+spark+elasticsearch)
集群搭建(两台与多台一样,hadoop没有选则HA方案) 1. vim /etc/hosts (每个节点都修改) 10.128.7.39 hostname1 10.128.7.84 hostname2 2. 安装jdk,…
Spark实现列转行
1、列转行 行转列和列转行是我们常用的功能,假如我们有如下的csv文件: +---+----+---------+ |id |name|address | +---+----+---------+ |1 |a |add1…
SQL优化规则_08_Column相关 - 01
不建议使用SELECT * 类型查询 Content:当表结构变更时,使用*通配符选择所有列将导致查询的含义和行为会发生更改,可能导致查询返回更多的数据。 Case: select * from tbl where id…
【转】MySQL 加锁处理分析--何登成
MySQL 加锁处理分析 12月 13th, 2013 发表评论 | Trackback 1 背景 1 1.1 MVCC:Snapshot Read vs Current Read 2 1.2 Cluster Index…
SQL优化规则_11_Distinct & Function相关
消除不必要的DISTINCT条件 Content:太多DISTINCT条件是复杂的裹脚布式查询的症状。考虑将复杂查询分解成许多简单的查询,并减少DISTINCT条件的数量。如果主键列是列的结果集的一部分,则DISTINC…
MySQl必知必会(一)
MySQL常用命令 命令要以;结束才会执行。sql语句不区分大小写 show databases; 显示有哪些数据库。 use body; 使用body数据库(之后的操作针对body数据) show tables; 显示…
MySQL底层引擎性能对比及调优
引擎测试实验: 首先我准备了数据库mysql(5.7.20版本,默认InnoDB引擎),两张MySQL表(test1,test2): create table test1( id int(11) not null aut…
高性能MySQL-创建高性能索引
1.1 索引基础 简单讲,索引就是书籍后面的“索引”-Index,帮助我们找到特定主题、词语,然后告诉我们具体对应的页码。在MySQL中存储引擎用类似的方法使用索引,先在索引中找到对应的值,然后根据匹配的索引记录找到对应…
MySQL:讨人喜欢的 MySQL replace into 用法(insert into 的增强版)
在向表中插入数据的时候,经常遇到这样的情况:1. 首先判断数据是否存在; 2. 如果不存在,则插入;3.如果存在,则更新。 在 SQL Server 中可以这样处理: if not exists (select 1 fr…