一、大数据技术体系
大数据应用领域
互联网领域：搜索引擎、推荐系统、广告系统
电商领域：用户画像、推荐系统、用户行为分析
医疗领域：流行病预测、病情分析
视频领域：用户标签系统、视频分析、广告系统
金融领域：风控系统、欺诈分析
二、如何学习大数据（老师建议）
1.良好的自主学习能力和动手能力
2.系统了解大数据生态系统技术框架
3.找到学习切入点，不断拓展知识的广度（大数据平台开发、数据分析）
4.抓住一个技术方向，不断深入研究，增加知识结构的深度
5.主动学习探索新知识
6.定期知识梳理
三、大数据必备技能（重点）
四、大数据就业方向
1、大数据分析工程师
2、大数据平台开发工程师
3、大数据运维工程师
4、大数据算法工程师
5、大数据内核开发工程师
五、Zookeeper设计原理
1、分布式系统概念：是一个硬件或软件组件分布在不同的网络计算机上，彼此之间通过消息传递进行通信和协调的系统。《分布式系统概念与设计》
2、分布式特点：分布性、对等性、并发性、缺乏全局时钟、故障总是会发生
3、为什么选择Zookeeper？ 开源免费、高效、可靠的解决数据一致性问题、简单易用、工业界大型分布式系统广泛应用。
4、Zookeeper 概念：一个开源的针对大型分布式系统的可靠协调系统。
提供的功能包括：发布/订阅，分布式协调/通知，配置管理，集群管理，主从协调，分布式锁等。
5、Zookeeper特性：最终一致性、顺序性、可靠性、实时性、原子性、单一视图
6.Zookeeper的架构
重点（zookeeper架构）
注意：如果leader挂掉了会从follwer里面选取，不会从观察者（Observer）中选取
zookeeper角色
7.Zookeeper写入
（1）数据写入最终一致性核心算法：ZAB算法
（2）Leader负责处理写事务请求（收到半数以上的Follwer的请求，提交给Follwer，Leader会自身也提交请求）
写入的过程
8.Zookeeper选举
服务器四种状态:looking/leading/follwing/observer
znode数据模型
9.Znode节点类型:不允许在临时节点下创建
Znode版本号，初始为0每次操作一次+1.
悲观锁一般解决并发问题，要求对数据从头到尾都加锁。排他性
乐观锁一般用于并发不大，数据冲突不强烈的。事务请求，同时并发会回滚操作。
重要的机制
六、重要概念解答（老师解答）
1、心跳的意思是，从节点周期性的向leader发送消息，比如2秒钟发送一次消息，这种有规律的通信就叫做心跳
2、znode是zookeeper中的一个数据节点，znode下还可以创建子znode，可以理解为文件夹的构造，一个文件夹下可以有子文件夹或者子文件
3、整个集群会选举出一个leader，这个leader负责处理客户端的事务请求，事务请求包括znode的创建、修改、删除等，follower负责处理客户端的读请求。
4、维护Znode:当集群中的任何一个follower节点接收到客户端的事务请求，都会转发给leader，也就是说整个集群只有leader可以处理事务请求，其他角色的节点都不能处理，当leader处理事务请求的时候，就要向整个集群广播一个提议，这个提议的意思就是告诉follower你们要创建/修改/删除一个znode，然后follower接收到leader的提议之后，就会做相应的操作，操作完成告诉leader完成了。
当leader接收到集群中的大多数follower的成功操作的回复之后，这里的大多数指的是超过集群机器数量的一半。
当收到大多数follower的回复之后，leader就认为这次事务被成功处理了，然后再向集群通知所有的follower提交事务，最后会返回给客户端一个事务被成功处理的状态。
如果有落后的follower，这些落后的follower也会从leader同步状态，保持与leader的状态一致。
七、Zookeeper安装配置常见问题及解决方法
问题一如下图：
通过ssh-copy-id命令将node01这台机器root用户的公钥文件（id_rsa.pub）文件内容拷贝到node02和node03两台机器时报错
问题分析：路径错误
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop@node02:/home/hadoop/apps
问题解决：按照最新安装文档14步骤操作
问题二如下图：
解决办法：要在所有机器的/etc/hosts中配置ip和主机名称的映射关系：如下
问题三如下图：
问题分析：配置的root用户的免密码登录，然后使用的hadoop的用户拷贝，导致提示输入免密
解决方法：如果用hadoop用户拷贝，要配置hadoop用户的ssh免密码登录。配置root免密登录不代表所有用户都可以免密码登录。
问题四如下图：
问题分析：配置好后使用root用户启动成功了zookeeper，导致hadoop用户无权限启动。
解决办法：用root用户直接去data目录下删除掉那个pid文件用hadoop用户启动就好了。
