spark简述

绝地灬酷狼 2022-05-21 07:15 119阅读 0赞

Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，在Spark官网上介绍，它具有运行速度快、易用性好、通用性强和随处运行等特点。

## Spark概述 ##

当前，MapReduce编程模型已经成为主流的分布式编程模型，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在[分布式系统][Link 1]上。但是MapReduce也存在一些缺陷，如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年，社区出现了优化改进MapReduce的项目，如交互查询引擎Impala、支持DAG的TEZ、支持内存计算Spark等。Spark是UC Berkeley AMP lab开源的通用并行计算框架，以其先进的设计理念，已经成为社区的热门项目。Spark相对与MapReduce的优势有：低延迟、支持DAG和分布式内存计算。虽然Spark有许多优势，但是毕竟没有经过大规模生产的验证，所以暂未能代替MapReduce，庆幸的是，由于许多人意识到Spark的优势所在，社区Spark已成热门项目。本文对Spark的分析基于社区spark 1.0.2版本。

### Spark生态圈介绍 ###

Spark力图整合机器学习（MLib）、图算法（GraphX）、流式计算（Spark Streaming）和数据仓库（Spark SQL）等领域，通过计算引擎Spark，弹性分布式数据集（RDD），架构出一个新的大数据应用平台。

Spark生态圈以HDFS、S3、Techyon为底层存储引擎，以Yarn、Mesos和Standlone作为资源调度引擎；使用Spark，可以实现MapReduce应用；基于Spark，Spark SQL可以实现即席查询，Spark Streaming可以处理实时应用，MLib可以实现机器学习算法，GraphX可以实现图计算，SparkR可以实现复杂数学计算。

![271636351396581.png][]

图1 Spark生态圈

###  ###

#### spark特点 ####

·运行速度快

spark在内存中对数据进行迭代计算如果数据由内存读取是hadoop MapReduce的100倍。Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小.

![Center][]

·易用性好

支持Scala编程java编程 Python等语言（Scala是一种高效可扩展语言，使用简洁）

·一次编译，随意执行

spark运行在Hadoop,cloud上,能够读取HDFS,HBase Cassandra等数据源

### Spark包与目录介绍 ###

下载源码包：http://spark.apache.org/downloads.html

Spark 1.0.2源码包目录结构：

![271636361392753.png][]

图2 spark代码目录结构

源代码下子目录很多，下表是几个关键目录的介绍。

<table style="border-spacing:0px;border:1px solid #C0C0C0;"> 
 <tbody> 
 <tr> 
 <td style="border-width:.5pt;border-collapse:collapse;">子目录</td> 
 <td style="border-top-width:.5pt;border-right-width:.5pt;border-bottom-width:.5pt;border-left-style:none;border-collapse:collapse;">功能</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">core</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">Spark核心代码都在此目录下</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">sql</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">Spark sql相关的代码</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">streaming</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">Spark Streaming（实时计算）相关的代码</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">mlib</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">MLib（机器学习）相关代码</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">graphx</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">GraphX（图计算）相关代码</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">yarn</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">支持Spark运行在Yarn上的模块</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">example</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">各种spark作业的例子</td> 
 </tr> 
 </tbody> 
</table>

非关键目录

<table style="border-spacing:0px;border:1px solid #C0C0C0;"> 
 <tbody> 
 <tr> 
 <td style="border-width:.5pt;border-collapse:collapse;">子目录</td> 
 <td style="border-top-width:.5pt;border-right-width:.5pt;border-bottom-width:.5pt;border-left-style:none;border-collapse:collapse;">功能</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">assembly</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">组装spark项目的地方</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">bagel</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">基于Spark的轻量Pregel实现，bagel将被GraphX代替</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">ec2</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">提交spark集群到Amazon EC2</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">external</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">与一些外部系统的依赖</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">extra</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">此目录包含了spark默认不构建的组件</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">repl</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">Spark shell功能模块</td> 
 </tr> 
 <tr> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left-width:.5pt;border-collapse:collapse;">tools</td> 
 <td style="border-top:none;border-right-width:.5pt;border-bottom-width:.5pt;border-left:none;border-collapse:collapse;">工具包</td> 
 </tr> 
 </tbody> 
</table>

### Spark编译 ###

Spark使用mvn编译，并为我们提交了构建项目的脚本：make-distribution.sh,推荐在Linux下编译，编译命令：./make-distribution.sh --hadoop 2.2.0 --with-yarn –tgz

编译成功后会工程目录下生成dist目录，即项目可执行包：

![271636373261684.png][]

图3

### 如何运行Spark作业 ###

参考社区文档： [https://spark.apache.org/docs/latest/quick-start.html][https_spark.apache.org_docs_latest_quick-start.html]

### Spark运行模式介绍 ###

Spark任务的运行模式有local、standalone、OnYarn等，各种运行模式的详细流程可以参考博客： [http://www.cnblogs.com/shenh062326/p/3658543.html][http_www.cnblogs.com_shenh062326_p_3658543.html]

### Spark作业执行简要流程 ###

无论运行在哪种模式下，Spark作业的执行流程都是相似的，主要有如下八步：

1.  客户端提交作业
2.  Driver启动流程
3.  Driver申请资源并启动其余Executor(即Container)
4.  Executor启动流程
5.  作业调度，生成stages与tasks。
6.  Task调度到Executor上，Executor启动线程执行Task逻辑
7.  Driver管理Task状态
8.  Task完成，Stage完成，作业完成

## Spark原理详细介绍 ##

### DAGScheduler与TaskScheduler详解 ###

DAGScheduler把一个spark作业转换成成stage的DAG（Directed Acyclic Graph有向无环图），根据RDD和stage之间的关系，找出开销最小的调度方法，然后把stage以TaskSet的形式提交给TaskScheduler。图3与图4展示了DAGScheduler与TaskScheduler的工作。

![271636381702341.png][]

图4 DAGScheduler的作用

![271636388264942.png][]

图5 TaskScheduler作用

DAGScheduler还决定了运行task的理想位置，并把这些信息传递给下层的TaskScheduler。此外，DAGScheduler还处理由于shuffle数据丢失导致的失败，这有可能需要重新提交运行之前的stage（非shuffle数据丢失导致的task失败由TaskScheduler处理）。

TaskScheduler维护所有TaskSet，当Executor向Driver发送心跳时，TaskScheduler会根据其资源剩余情况分配相应的Task。另外TaskScheduler还维护着所有Task的运行状态，重试失败的Task。

### RDD详解 ###

RDD（Resilient Distributed Datasets弹性分布式数据集），是spark中最重要的概念，用户可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。当然，RDD肯定不会这么简单，它的功能还包括容错、集合内的数据可以并行处理等。图5是RDD类的视图，图6简要展示了RDD的底层实现。更多RDD的操作描述和编程方法请参考社区文档：[https://spark.apache.org/docs/latest/programming-guide.html][https_spark.apache.org_docs_latest_programming-guide.html]。

![271636394676070.png][]

图6 RDD提供了许多操作

![271636417954215.png][]

图7 RDD的实现

#### RDD cache的原理 ####

RDD的转换过程中，并不是每个RDD都会存储，如果某个RDD会被重复使用，或者计算其代价很高，那么可以通过显示调用RDD提供的cache()方法，把该RDD存储下来。那RDD的cache是如何实现的呢？

RDD中提供的cache()方法只是简单的把该RDD放到cache列表中。当RDD的iterator被调用时，通过CacheManager把RDD计算出来，并存储到BlockManager中，下次获取便可直接通过CacheManager从BlockManager取出。

### Shuffle原理简介 ###

在Spark编程时，不仅仅只有reduce才会产生shuffle过程，RDD提供的groupByKey，countApproxDistinctByKey等操作都会生成shuffle。Spark中shuffle的实现与MapReduce的shuffle有比较大的差别，首先是map阶段，map的输出不再需要排序，直接写到文件中，一个map会把属于不同reduce的数据分别输出到不同的文体中，而reduce则通过aggregator处理所有shuffle fetch获取的partition。

从流程上看，MapTask结束后，Driver的MapOutPutTracker会注册MapOutPuts，ReduceTask启动后向Driver获取MapOutPutStatuses，然后fetch相应的MapOutPuts。

![271636428898415.png][]

图8 Shuffle简介

![271636438102330.png][]

图9 Shuffle的原理（摘自网络）

## Spark Streaming详解 ##

Spark Streaming是建立在Spark上的实时计算框架，通过它提供丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。

Spark Streaming的基本原理是将输入数据流以时间片（秒级）为单位进行拆分，然后以类似批处理的方式处理每个时间片数据，其基本原理如下图所示。

![271636456074145.jpg][]

图10 Spark Streaming基本原理图

首先，Spark Streaming把实时输入数据流以时间片Δt （如1秒）为单位切分成块。Spark Streaming会把每块数据作为一个RDD，并使用RDD操作处理每一小块数据。每个块都会生成一个Spark Job处理，最终结果也返回多块。

使用Spark Streaming编写的程序与编写Spark程序非常相似，在Spark程序中，主要通过操作RDD（Resilient Distributed Datasets弹性分布式数据集）提供的接口，如map、reduce、filter等，实现数据的批处理。而在Spark Streaming中，则通过操作DStream（表示数据流的RDD序列）提供的接口，这些接口和RDD提供的接口类似。

![271636461233704.jpg][]

图11 Spark Streaming程序转换为DStream Graph

![271636467488061.jpg][]

图12 DStream Graph转换为Spark jobs

在图12中，Spark Streaming把程序中对DStream的操作转换为DStream Graph，图4中，对于每个时间片，DStream Graph都会产生一个RDD Graph；针对每个输出操作（如print、foreach等），Spark Streaming都会创建一个Spark action；对于每个Spark action，Spark Streaming都会产生一个相应的Spark job，并交给JobManager。JobManager中维护着一个Jobs队列, Spark job存储在这个队列中，JobManager把Spark job提交给Spark Scheduler，Spark Scheduler负责调度Task到相应的Spark Executor上执行。

![271636477322761.png][]

图13

Spark Streaming的另一大优势在于其容错性，RDD会记住创建自己的操作，每一批输入数据都会在内存中备份，如果由于某个结点故障导致该结点上的数据丢失，这时可以通过备份的数据在其它结点上重算得到最终的结果。

转载自[https://www.cnblogs.com/shenh062326/p/3996545.html][https_www.cnblogs.com_shenh062326_p_3996545.html]

参考自[https://blog.csdn.net/u014372225/article/details/51926432][https_blog.csdn.net_u014372225_article_details_51926432]

[Link 1]: http://baike.baidu.com/view/991489.htm
[271636351396581.png]: /images/20220521/12666af5812842e49f407cd1035868e7.png
[Center]: /images/20220521/e866f33260544b8a9eab48c97a8922ad.png
[271636361392753.png]: /images/20220521/6c03574ae6a14a669529e4ff29b74314.png
[271636373261684.png]: /images/20220521/cbe3fc536d6c4e3dbaba7cfa683f6cc4.png
[https_spark.apache.org_docs_latest_quick-start.html]: https://spark.apache.org/docs/latest/quick-start.html
[http_www.cnblogs.com_shenh062326_p_3658543.html]: http://www.cnblogs.com/shenh062326/p/3658543.html
[271636381702341.png]: /images/20220521/292d5f93d33a4cc4ae89caa9770bd63c.png
[271636388264942.png]: /images/20220521/60db2ac9bab94a90bcaf3eb81387ad92.png
[https_spark.apache.org_docs_latest_programming-guide.html]: https://spark.apache.org/docs/latest/programming-guide.html
[271636394676070.png]: /images/20220521/c0c46ec9a175454fbc4d394c0fb62a08.png
[271636417954215.png]: /images/20220521/bf71c149a9bf4f2d9b23a4a467ef3059.png
[271636428898415.png]: /images/20220521/5847e4a7d9f84cd6a9ff6615aedceb37.png
[271636438102330.png]: /images/20220521/43d87ca9961c457b93251e731fac567a.png
[271636456074145.jpg]: /images/20220521/5db550443e7b4553ab07529388346869.png
[271636461233704.jpg]: /images/20220521/71aca3e711c74aa4b1a35824009e9eba.png
[271636467488061.jpg]: /images/20220521/6406c1f3cd3c46fe8e727cf99cc7661d.png
[271636477322761.png]: /images/20220521/60f9a69f2fbd4c08a221edafca7f2dbf.png
[https_www.cnblogs.com_shenh062326_p_3996545.html]: https://www.cnblogs.com/shenh062326/p/3996545.html
[https_blog.csdn.net_u014372225_article_details_51926432]: https://blog.csdn.net/u014372225/article/details/51926432