学习编程拼图理论的框架整理

介绍

机器学习是大数据技术的制高点，是大数据技术人员核心竞争力之所在，是企业大数据使用的灵魂，是每个想在大数据领域的有卓越价值的技术人员都必须掌握的内容！

Spark 在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。

同时 Spark 的拥有非常出色的容错和调度机制，确保系统的高效稳定运行，Spark 目前的发展理念是通过一个计算框架集合 SQL、Machine Learning、Graph Computing、Streaming Computing 等多种功能于一个项目中，其中的机器学习部分也是 Spark 从 2015 年开始开发的重心，在已有的算法的基础上会有越来越多算法存在MLLib 中，同时 Spark 本身会对自定义机器学习算法实现也提供了越来越强的支持，是目前分布式机器
学习领域最具有潜力的平台。

本课程讲解了 Machine Learning on Spark 方方面面的内容，从算法解析与实现、到算法的使用、再
到算法的源码解析，以及算法的性能优化等问题，具体如下：

1. 广义线性模型详解与实战
2. 推荐算法及系统详解与实战
3. 聚类算法详解与实战
4. 流式机器学习详解与实战
5. 机器学习流水线详解与实战
6. 机器学习中的科学计算详解与实战
7. 决策树与组合学习详解与实战
8. 机器学习算法评测详解与实战
9. 优化算法并行化详解与实战
10. 大数据机器学习个人和企业致胜之道

掌握上述内容，可以助您和企业轻松驾驭 Spark 机器学习，笑傲大数据时代！

适用对象

1， Spark 编程工程师；
2， 大数据算法工程师；

框架内容

Spark 编程模型

 RDD
 transformation
 action
 persist&checkpoint
 lineage
 宽依赖与窄依赖

深入 Spark 内核

 Spark 集群
 任务调度
 DAGScheduler
 TaskScheduler
 Master 内部揭秘
 Task 内部揭秘

广义线性模型详解与实战

 逻辑回归
 线性回归
 SVM
 LASSO
 岭回归
 广义线性模型代码及示例

推荐算法及系统详解与实战

 ALS 算法
 奇异值分解
 Mahout 与 MLlib 的对比分析
 推荐系统的搭建示例

聚类算法详解与实战

 k-means
 LDA
 高斯混合模型
 Power Iteration 聚类
 聚类算法应用示例

流式机器学习详解与实战

 Lambda 架构
 参数服务器
 from Freeman labs 提供的流式算法
 应用示例

机器学习流水线详解与实战

 Scikit-learn 的流水线（包括 Pandas 等对比）
 Spark 的流水线（如 DataFrame 以及 ML 组件）
 特征提取与变换
 应用示例及对比

机器学习中的科学计算详解与实战

 矩阵计算中的注意事项
 矩阵计算的组件(in C/Fortran and Java)
 MLlib 中的矩阵计算
 MLlib 中的统计方法

决策树与组合学习详解与实战

 MLlib 中的决策树
 随机森林算法
 Gradient-Boosted Trees
 实践中的组合学习

机器学习算法评测详解与实战

 评测方法
 Cross validation 与 Grid Search
 MLlib 中的实现
 在线、离线测评方法

优化算法并行化详解与实战

 常用的优化算法
 优化算法的串行基因
 计算模型：从 BSP 到 BSP+再到 SSP

大数据机器学习个人和企业致胜之道

 机器学习/数据分析的一般步骤
 实践机器学习的再思考
 Mahout、Oryx、VM 以及一些 python 的包，SparkR，PySpark等的对比
 机器学习个人最佳学习路径
 企业使用机器学习最佳实践