背景 业务系统库数据迁移到Hadoop平台做分析要涉及到所有迁入的表结构要类型和表结构语句的更改,部分表字段可能两三百个字段,对程序员来说捉行手动修改简直始终煎熬。。。 表结构 mysql `id` int(10) un…
标签:id
清洗数据的一个棘手的sql语句
table test 表结构 id, chapterid, widx 60002 1 1 60004 1 1 60005 1 1 ... ... 60006 1 5 60002 3 5 60005 3 4 60008 4…
关于存储过程中,exec动态执行sql的结果赋给变量
declare @sql nvarchar(2000) declare @cou int declare @id varchar(20) set @id=’1′ set @sql=’s…
记录完整spark.hive.sql处理过程
需求: 从App启动日志中读取所需数据,用来得到用户的常用启动时间点,常活动的地理位置,并更新到用户画像表中。 背景: device_id 设备id start_time App启动时间 latitude 上传纬度 lo…
Java对MongoDB的ObjectId的序列化问题
MongoDB在不特殊指认的情况下,默认的集合主键是“_id”,类型是ObjectId。ObjectId是一个12字节的BSON类型字符串,包含了UNIX时间戳,机器识别码,进程号,计数值信息。机器码用来防止分布式系统生…
#知识学习之Json-RPC
知识学习之Json-RPC JSON-RPC技术 JSON-RPC是一个无状态且轻量级的远程过程调用(RPC)协议。 本规范主要定义了一些数据结构及其相关的处理规则。它允许运行在基于socket,http等诸多不同消息传…
聊一聊mongodb的自然排序
最近笔者在工作中遇到一个关于mongo排序的问题: 文章列表根据创建时间排序,当有多篇文章创建时间相同(批量导入),更新其中的文章顺序竟然变了。 笔者赶紧查看了一下代码,确认更新数据时没有改变数据的id和创建时间,第一感…
SQL查询中in和exists的区别分析
SQL查询中in和exists的区别分析 select * from A where id in (select id from B); select * from A where exists (select 1 fr…
适用于Yii2的千万级数据秒分页
首先SQL原型如下 SELECT t1.* FROM item t1, (SELECT id FROM item WHERE id>100 LIMIT 10000,20 ) t2 WHERE t1.id=t2.id…
Android中常用的加密方式
Android面试的时候,尤其是面试一些金融公司的时候经常性的问道:“你会不会加密?”,“加密方式是什么?”,“大概什么样的加密原理呢?”。其实,大多数人都是一脸懵逼,我也懵逼过。痛下决心总结一下,写的不好,大家见笑了。…
mongodb的join查询
在数据库查询中,我们经常会遇到这样的需求: A表 (用户信息) id<主键,唯一>, name <str, 名字> B表(物品信息) id<主键,唯一>, owner<外键,指向…
SQLi-LABS Page-4 (Challenges) less 54-75注入教程
Lesson – 54 GET – Challenge – Union – 10 queries allowed – Variation 1 给你十次测试机会找…