需求分析 计算部门的平均薪资和年龄 只统计年龄在20岁以上的员工 根据部门名称和员工性别为粒度来进行统计 统计出每个部门分性别的平均薪资和年龄 关键技术点 导入隐式转化import spark.implicits._ 导…
CentOS 7.0 hadoop 2.6 安装与配置
CentOS 7.0 hadoop 安装与配置 蒋小超 2015.04.03 背景介绍 hadoop 是一种大数据分布式运算解决方案。 hadoop 是什么? 实际上 hadoop 就是 Google 的 MapRedu…
Mongodb 入门
第一章 前言 1.1 知识体系分析 前端工程师:Web前端,也就是在Web应用中用户可以看得见碰得着的东西。包括Web页面的结构、Web的外观视觉表现以及Web层面的交互实现。 后端工程师:与数据库进行交互以处理相应的业…
sql 优化相关
选择合适的数据库引擎 Myisam存储引擎:如果表对事物要求不高,同时是以查询和添加为主的,我们考虑使用myisam存储引擎,比如论坛中的发帖表,回复表 Innodb存储引擎:对事物要求高,保存的数据都是重要数据.我们建…
oracle pl sql 学习资料汇总
1、入门级视频:慕课网 2、一系列不错的文章:系列文章地址 0、精华文章目录 1、异常如何处理 2、函数结果集缓存 3、如何使用游标 4、bull collection forall使用方式 5、游标for loop 6…
PLSQL快捷键,很方便
自动替换:快捷输入SQL语句,例如输入s,按下空格,自动替换成SELECT;再例如,输入sf,按下空格,自动替换成SELECT * FROM,非常方便,节省了大量的时间去编写重复的SQL语句。 设置方法:菜单Tools–…
MongoDB查询内嵌文档
有两种方式可以查询内嵌文档 查询整个文档 针对键值对进行查询 查询整个文档 db.emp.insert({ "id":"A001", "name":{ "first":"Carey", "last":"Ickes" },…
Spring data mongodb querydsl 环境配置
在 pom.xml 中进行配置。 dependencies节点中: <!-- 以下三个依赖 Query dsl Mongodb --> <dependency> <groupId>co…
ZooKeeper入门笔记
今天准备重新回到简书写文章,在这之前我的技术文章都放在github上,这次一律都搬过来,后面的文章技术的两边都发,其他类型的发简书,毕竟简书上写还有人看,稍微有些乐趣(本文原链接点我)。 初识 定义 ZooKeeper是…
[zookeeper]概念篇
简单的概念 zk是高性能,高可用的分布式协调框架, zk并没有完全采用paxos协议,而是采用自定义的zab(原子消息广播协议)协议保证事务的一致性。 zab协议是为分布式协调服务zk专门设计的一种支持奔溃恢复的原子广播…
HotFrameLearning 热门框架学习(目录)
HotFrameLearning 热门框架学习(目录) I、项目介绍 II、专辑栏目 一、Redis Redis 简介 Redis 环境安装配置 Redis 客户端连接 Redis 常用命令 Redis 集群搭建 Red…
scrapy突破反爬的几种方式(一)
最近在学习 scrapy 中,突破反爬限制的几种方法,总结一下,记录学习过程中的收获。 在以后的学习中也有可能会用到这些知识。 Downloader Middleware 简单介绍一下 Downloader Middle…