Spark第一天的小概念

淡淡的烟草味﹌ 2023-05-29 05:29 17阅读 0赞

## 1、什么是RDD ##

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合.

> Dataset:一个数据集，简单的理解为集合，用于存放数据的  
> Distributed：它的数据分布式存储，并且可以做分布式的计算  
> Resilient：弹性的  
> 它表示的是数据可以保存在磁盘，也可以保存在内存中

## 2、RDD的五大特性(源码注释) ##

*  A list of partitions  
    每个RDD都有一个分区列表
 *  A function for computing each split  
    作用在每个分区上面的函数
 *  A list of dependencies on other RDDs  
    一个RDD依赖其他多个RDD,这个特性很重要，rdd的容错机制就是根据这个特性而来的
 *  Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)  
    可选项：针对于 kv 键值对的RDD才具有该分区特性
 *  Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)  
    可选项 ： 数据本地性，数据最优，选择尽量存储在worker节点上的数据节点。

## 3、创建rdd方式 ##

1、通过已经存在的集合  
val rdd1=sc.parallelize(Array(1,2,3,4))  
2、读取外部数据源  
val rdd2=sc.textFile(“文件”)  
3、由一个rdd转化成一个新的RDD  
val rdd3=rdd2.flatMap  
4、有时也会用sc.makeRDD，使用较少

## 4、RDD的算子分类 ##

**transformation** ：转换操作，将一个rdd转换生成一个新的rdd(flatMap/map/reduceByKey),它属于懒加载，延迟执行，并不会立即触发任务的执行。  
**action** : 此时才会真正的触发任务的计算。

## 5、rdd中的2种依赖关系 ##

窄依赖：每个父RDD的partition最多只被子rdd的一个partition依赖  
![在这里插入图片描述][20191105170015507.png]  
宽依赖：每个父RDD的partition会被多个子rdd依赖，子RDD分区通常对应父RDD所有分区  
![在这里插入图片描述][20191105170028993.png]

## 6、lineage(血统) ##

它会记录下当前作用在rdd上的分区数据（元数据）和一系列的转换行为，当子rdd中某个分区数据丢失之后，只需要通过血统来重新计算恢复当前丢失数据的分区（spark 具备容错机制）

## 7、RDD的缓存方式 ##

cache:直接将rdd中的数据，保存在内存中，其本质是persist(StorageLevel.MEMOEY\_ONLY)  
persist:可以有丰富的缓存级别  
当rdd设置了缓存之后，如果下面有需要用到该RDD的数据的时候，就不要重复计算，可以直接从缓存中获取得到。

## 8、checkpoint ##

会对数据进行一个持久化操作，保存在hdfs  
使用的时候：  
需要sc.setCheckpointdir 来设置一个检查点目录  
对需要缓存的rdd调用checkpoint  
注意：同样在执行数据缓存的时候，需要有对应的action算子操作，才会真正触发持久化操作。  
在做checkpoint操作的时候，此时会先执行对应触发action算子的rdd结果，计算完成之后又会开辟一个新的job来计算你设置了checkpoint的rdd的结果。  
在设置了checkpoint之后，对应这个rdd会改变之前的依赖关系，如果当前数据丢失了，只有重头计算得到。

**如何使用checkpoint**

可以对要做checkPoint的rdd,先进行一个cache  
在做一个checkpint操作  
数据恢复的一般顺序

> 内存———->checkpoint————>重新计算得到

[20191105170015507.png]: https://img-blog.csdnimg.cn/20191105170015507.png
[20191105170028993.png]: https://img-blog.csdnimg.cn/20191105170028993.png