1 什么是Spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
问题
工具只在解决了一些问题时才有用，对吧！那么让我们来讨论一下 Spark 能解决的问题。
我们需要（快速获取）答案
在批处理过程中，长时间等待运行作业的结果是意料中的事，在如今的企业中，需要快速（“近实时”）获取答案。大数据的属性（速度、数据量和种类）使得业务问题越来越难获得答案，但快速获取这些答案非常重要。
数据如此之多
数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增加。所有数据都需要经过一定的处理，这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据，以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据，这一点很重要！
A 与 B（以及 C、D 等等）有何关联？
您拥有所有这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而确定哪些数据维至关重要，哪些毫无价值。
我们需要知道（何时）将会发生什么
您拥有所有这些宝贵的历史数据。太棒了！现在您需要分析它们，了解发生了什么和发生的原因，以便能预测接下来会发生什么。重要的是能够分析所有这些数据，以便预测将会发生的业务事件。
Apache Spark 不是什么
我们常常（且很容易）合并解决一组类似问题的两种或更多相关技术，而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误，让我们讨论一下它不是什么。
Hadoop
Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另一方面，Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），而且不会像 Hadoop（通过 Hadoop 分布式文件系统，HDFS）那样处理文件存储本身。
MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆，因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法：读入数据，MapReduce 转换它，然后将数据写回到磁盘。如果需要另一次转换，则会重复这些步骤。另一方面，Spark 在内存中执行所有处理工作（如有必要，还会执行多次迭代），并使用 DAG 确定要执行步骤的最佳顺序。
与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容，所以 Hadoop 和 Spark 可以紧密协作。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。
解决方案
在一开始的时候，我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。
我们需要（快速获取）答案
近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据，所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍！
数据如此之多
或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时，需要将数据写入磁盘，然后读回进行 Map/Reduce 转换处理，接着再写回磁盘，然后才能交到分析师手中。
Spark Streaming 允许在内存中处理传入的数据，然后写入磁盘供以后扩充（如有必要）和进一步分析。
A 与 B（以及 C、D 等等）有何关联？
来自多个来源的数据（比如交易数据、社交媒体数据、单击流等）拥有隐藏的关联，梳理这些关联有助于发现数据中的新见解和洞察 - 它们从表面上看似乎处于完全不同的维度，但实际上却紧密关联。但要以有意义的方式实现此目的，需要灵活地转换数据（速度快没有坏处，对吧？），以便找到正确的方向。
Spark GraphX 结合了二者的优势：多个算法的灵活性，以及以各种不同方式转换和合并数据的速度。
我们需要知道（何时）将会发生什么
在预测未来时，拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件（当然还有硬件）。
Spark 的 MLib 具有很高的性能（惊讶吧？）机器学习 (ML) 库采用了大量经过实践检验的算法（比如分类、回归和聚类）、特制技术（比如转换和降维）和实用工具（比如线性代数和统计学）。
2 Spark与MapReduce的区别
都是分布式计算框架，Spark基于内存，MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上，Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。
二、Spark的四大特性
1、高效性
官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。
2、易用性
Spark支持Java、Scala，Python和R的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。
3、通用性
Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力，毕竟任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。
4、兼容性
Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人都可以非常容易地部署和使用Spark。此外，Spark还提供了在EC2上部署Standalone的Spark集群的工具。
三、Spark的技术栈
SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。
SparkSQL：Spark Sql 是Spark来操作结构化数据的模块，可以使用SQL语句的方式来查询数据，Spark支持多种数据源，如HDFS，FLume，Kafka等。
SparkStreaming： 是Spark提供的实时数据进行流式计算的组件。
MLlib：提供常用机器学习算法的实现库。
GraphX：提供一个分布式图计算框架，能高效进行图计算。
BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。
Tachyon：以内存为中心高容错的的分布式文件系统。
四、Spark的运行模式
| 运行环境 | 模式 | 描述 |
| Local | 本地模式 | 常用于本地开发测试，如在eclipse，idea中写程序测试等。本地还分为local单线程和local-cluster多线程 |
| Standalone | 集群模式 | Spark自带的一个资源调度框架，支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA |
| Yarn | 集群模式 | 运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算 |
| Mesos | 集群模式 | 运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算 |
| Kubernetes | 集群模式 | 运行在Kubernetes资源管理的集群上，目前Kubernetes调度程序是实验性的 |
五、Spark的常用术语
| 术语 | 描述 |
| Application | Spark的应用程序，包含一个Driver program和若干Executor |
| SparkContext | Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor |
| Driver Program | 运行Application的main()函数并且创建SparkContext |
| Executor |
是为Application运行在Worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。 每个Application都会申请各自的Executor来处理任务 |
|
ClusterManager |
在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn) |
| Worker Node | 集群中任何可以运行Application代码的节点，运行一个或多个Executor进程 |
| Task | 运行在Executor上的工作单元 |
| Job | SparkContext提交的具体Action操作，常和Action对应 |
| Stage | 每个Job会被拆分很多组task，每组任务被称为Stage，也称TaskSet |
| RDD | 是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类 |
| DAGScheduler | 根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler |
| TaskScheduler | 将Taskset提交给Worker node集群运行并返回结果 |
| Transformations |
是Spark API的一种类型，Transformation返回值还是一个RDD， 所有的Transformation采用的都是懒策略， 如果只是将Transformation提交是不会执行计算的 |
| Action | 是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才 被触发。 |