前言 上一篇关系数据库常用SQL语句语法大全主要是关系型数据库大体结构,本文细说一下关系型数据库查询的SQL语法。 语法回顾 SELECT [ALL|DISTINCT] <目标列表达式>[,<目标列表达…
标签:SQL
[译] 解密 Airbnb 的数据流编程神器:Airflow 中的技巧和陷阱
前言 Airbnb的数据工程师 Maxime Beauchemin 激动地表示道:Airflow 是一个我们正在用的工作流调度器,现在的版本已经更新到1.6.1了,并且引入了一些列调度引擎的改革。我们喜欢它是因为它写代码…
Laravel学习笔记之Seeder填充数据小技巧
说明:本文主要聊一聊Laravel测试数据填充器Seeder的小技巧,同时介绍下Laravel开发插件三件套,这三个插件挺好用哦。同时,作者会将开发过程中的一些截图和代码黏上去,提高阅读效率。 备注:在设计个人博客软件时…
[译] 解密 Airbnb 的数据科学部门如何构建知识仓库
顽疾 Airbnb的数据团队很重要的一个职责就是传播基于数据的决策方法。我们将数据的获取民主化,使得每一个Airbnb的成员都可以量化他们基于数据的决策影响力并且借此洞察用户偏好,提升数据产品的用户体验。最近,我们开始解…
Mysql 架构及优化之-主从复制同步部署
概念 主从复制:2台以上mysql服务器, 做负载均衡, 主服务器负责增删改 , 从服务器负责查询 同步原理:mysql开启bin-log日志,主服务器所有的增删改操作会记录到bin-log日志然后主服务器把bin-lo…
Mysql 架构及优化之-表分区
写在前面 单张表超过1000W行已经算作是大数据存储场景常规海量数据优化:大表拆小表、sql语句优化今天我们重点介绍大表拆小表的优化 拆表方式 水平拆表 将表user中的1000w行数据拆成user1表和user2表,每…
[译] 解密 Uber 数据团队的基础数据架构优化之路
概述 如果你用过Uber,你一定会注意到它的操作是如此的简单。你一键叫车,随后车就来找你了,最后自动完成支付,整个过程行云流水。但是,在这简单的流程背后其实是用Hadoop和Spark这样复杂的基础大数据架构来支撑的。 …
一次解决OOM的经历
OOM OOM(Out Of Memory)是Android应用开发中相信每个人都遇到过的问题,而OOM在crash log中的stack trace一般没有实际意义,因为是在分配内存的时候才会抛出OOM异常,而这个时候…
Mysql 架构及优化之-mysql常用管理命令及工具安装和使用
mysql常用管理命令 查看数据库信息 mysql>s 查看引擎 mysql> show engines; 查看插件 mysql> show plugins; 查看数据库执行进程 mysql> s…
Spark Java使用DataFrame的foreach/foreachPartition
Spark已更新至2.x,DataFrame归DataSet管了,因此API也相应统一。本文不再适用2.0.0及以上版本。 DataFrame原生支持直接输出到JDBC,但如果目标表有自增字段(比如id),那么DataF…
PHP高效导出Excel(CSV)
CSV,是Comma Separated Value(逗号分隔值)的英文缩写,通常都是纯文本文件。如果你导出的Excel没有什么高级用法的话,只是做导出数据用那么建议使用本方法,要比PHPexcel要高效的多。二十万数据…
基于Flink的标准SQL操作支持
原文地址:stream-sql 我的Flink系列实战文章地址:Github Repo 近年来,开源的分布式流计算系统层出不穷,引起了广泛的关注与讨论。其中的先行者,譬如 Apache Storm提供了低延迟的流式处理功…