Apache Spark的入门
如果你在Data World工作，那么你很有可能知道Apache Spark是什么。如果你不知道，那么也还好！我会告诉你它是什么。
Apache Spark TM
由其创建者定义的Spark，是用于大规模数据处理的快速且通用的引擎。
快速部分意味着它比之前使用大数据（如经典MapReduce）的方法更快。快的秘诀在于Spark运行在内存（RAM）上，这使得处理速度比在磁盘上快得多。
通用部分意味着它可以用于多种用途，如运行分布式SQL，创建数据流水线，将数据摄入数据库，运行机器学习算法，处理图形，数据流等等。
RDD
来自PySpark-Jeffrey Thompson的图片
Apache Spark的主要抽象和开始是弹性分布式数据集（Resilient Distributed Dataset，RDD）。
RDD是可以并行操作的容错（fault-tolerant）元素集合。您可以创建它们，以跟驱动程序中的现有数据集并行，或者在外部存储系统（如共享文件系统，HDFS，HBase或提供Hadoop InputFormat的任何数据源）中引用数据集。
了解Spark的非常重要的一点是，所有的转换（transformations） （我们将尽快定义它）都是懒惰的，他们不会马上计算结果。相反，他们只记住应用于某些基础数据集（例如文件）的转换（transformations）。转换仅在动作（action）需要将结果返回给驱动程序时计算。
默认情况下，每次对其执行操作时，每个转换后的RDD都可能会重新计算。但是，您也可以使用持久化（或缓存）方法将RDD 保留（persist）在内存中，在这种情况下，Spark将保留群集中的元素，以便在下次查询时快速访问。还支持在磁盘上保存RDD，或在多个节点上复制RDD。
如果您想更多地了解Spark中RDD的转换和操作，请查看官方文档：
RDD编程指南 – Spark 2.3.0文档
Spark 2.3.0编程指南，Java，Scala和Python
数据帧（Dataframe）
来自PySpark-Jeffrey Thompson的图片
自从Spark 2.0.0开始，DataFrame是一个数据集（Dataset），被组织到命名列（named columns）中。它在概念上等同于关系数据库中的表或R / Python中的数据框（data frame），但在其内部具有更丰富的优化。
我们不会在这里讨论数据集（Datasets），但是它们被定义为可以从JVM对象构建的数据的分布式集合，然后使用功能转换（functional transformations）进行操作。它们仅在Scala和Java中可用（因为它们是有类型（typed）的）。
DataFrame可以从各种来源构建而成，例如：结构化数据文件，Hive中的表，外部数据库或现有的RDD。
https://aspgems.com/blog/big-data/migrando-de-pandas-spark-dataframes
简而言之，Dataframes API是Spark创建者在框架中轻松处理数据的方式。它们与Pandas Dataframes或R Dataframes非常相似，但有几个优点。首先当然是它们可以分布在一个集群中，因此它们可以处理大量的数据，第二个是它被优化了。
这是社区采取的非常重要的一步。到2014年，Spark与Scala或Java一起使用要快得多，并且由于性能的原因，整个Spark世界变成了Scala（是一种令人敬畏的语言）。但对于DF API，这已不再是问题，现在您可以在R，Python，Scala或Java中使用它，获得相同的性能。
催化剂（Catalyst）负责这种优化。你可以把它看作是一个向导，他会接受你的查询（哦，是的，你可以在Spark中运行类似SQL的查询，在DF中运行它们，并且它们也将被并行化）和你的动作（actions），并创建一个优化的计划用于分发计算（distributing the computation）。
这个过程并不那么简单，但作为程序员的你甚至都不会注意到它。现在，它一直在帮助你。
深度学习和Apache Spark
https://becominghuman.ai/building-an-image-classifier-using-deep-learning-in-python-totally-from-a-beginners-perspective-be8dbaf22dd8
如果您想深入了解深度学习，请继续阅读以下文章：
深度学习的“怪异”介绍
有关Deep Learning的精彩介绍，课程和博客文章。但这是一种不同的介绍。
我的深度学习之旅
在这篇文章中，我将分享我如何研究深度学习并用它来解决数据科学问题。这是…
你为什么想要在Apache Spark上进行深度学习？
这是我在开始研究这个问题之前自问的问题。答案分为两部分：
- Apache Spark是一个以简单和声明的方式在集群中分发计算的惊人框架。正在成为各行各业的标准，因此将深度学习的惊人进步加入其中将是一件好事。
- 有些深度学习的部分计算量很大，很重！分发这些进程可能是解决其他问题的解决方案，Apache Spark是我可以想到分发它们的最简单方法。
有几种方法可以用Apache Spark进行深度学习，我之前曾经讨论过，我在这里再次列出它们（并非详尽无遗）：
1。 Elephas ：Keras＆PySpark的分布式DL
maxpumperla/elephas
elephas – 使用Keras＆Spark做分布式深度学习
2。雅虎公司 ：TensorFlowOnSpark
yahoo/TensorFlowOnSpark
将TensorFlow程序引入Apache Spark集群
3。CERN 分布式Keras（Keras + Spark）
cerndb/dist-keras
dist-keras – 分布式深度学习，关注分布式训练，使用Keras和Apache Spark。
4。Qubole （Keras教程 + Spark）
在Apache Spark上使用Keras进行分布式深度学习| Qubole
已经证明深度学习能够在不同的领域中产生高效的机器学习模型。一些…
5。英特尔公司 ：BigDL（Apache Spark的分布式深度学习库）
intel-analytics/BigDL
BigDL：面向Apache Spark的分布式深度学习库
深度学习流水线
Databricks
但是我将关注这些文章的是Deep Learning Pipelines。
databricks/spark-deep-learning
spark-deep-learning – Apache Sparkgithub.com的深度学习流水线
深度学习流水线是由Databricks创建的开放源代码库，它提供了高级API以便使用Apache Spark在Python中进行可伸缩深度学习。
这是一项非常棒的工作，不久应该就会合并到官方API，所以值得一看。
与我之前列出的相比，这个库的一些优点是：
- 本着Spark和Spark MLlib的精神，它提供了易于使用的API，可以只用几行代码就可以进行深入学习。
- 它侧重于易用性和集成性，而不牺牲性能。
- 它由Apache Spark（也是主要贡献者）的创建者构建，因此它更有可能被合并为官方API。
- 它是用Python编写的，因此它将与所有着名的库集成在一起，现在它使用TensorFlow和Keras这两个主要的库来执行DL。
在下一篇文章中，我将全面关注DL流水线库以及如何从头开始使用它。您将看到的一件事情就是在简单的Pipeline上进行Transfer Learning，如何使用预先训练好的模型来处理“少量”数据，并能够预测事情，以及如何将你创建的学习模型可用于SQL来服务你所在的公司等等。
此外，我还将创建一个环境，在Deep Cognition Platform中使用此库在笔记本上工作，以便测试所有内容。如果您没有一个账号可以开始使用，请继续创建一个免费帐户：
DeepCognition – 今天成为一家由AI支持的组织
设计，训练和部署无需编码的深度学习模型。深度学习工作室简化和加速…
哦！！顺便说一句，如果你现在想更多关于Python的数据科学流水线的信息，请查看马修梅奥的这些精彩文章：
使用Scikit学习流水线管理机器学习工作流程第1部分：温和的介绍
您是否熟悉Scikit-learn Pipelines？他们是一个非常简单但非常有用的工具来管理机器…
使用Scikit学习流水线管理机器学习工作流程第2部分：集成网格搜索
在我们上一篇文章中，我们将Scikit-learn pipeline作为一种简化机器学习工作流程的方法。
使用Scikit学习流水线管理机器学习工作流程第3部分：多个模型，流水线…
首先，我知道我答应我们会在最后一篇文章中通过玩具数据集，但出于比较的目的，我们将…
关于Spark上的流水线简要介绍一下：
ML Pipelines – Spark 2.3.0文档
Estimator抽象了学习算法的概念或任何适应或训练数据的算法。技术上…
再见 ：）
