【Hadoop-MapReduce】MapReduce编程步骤及工作原理

川长思鸟来 2023-10-05 16:25 4阅读 0赞

#### 【Hadoop-MapReduce】MapReduce编程步骤及工作原理 ####

*  1）MapReduce的基本介绍：分布式计算框架
 *  2）MapReduce的编程规范步骤
 *  3）MapReduce的并行度机制
 *  4）map阶段的工作机制
 *  5）reduce阶段的工作流程:

## 1）MapReduce的基本介绍：分布式计算框架 ##

思想：`分而治之`

map：负责`分`的过程

reduce：负责`合`的过程

## 2）MapReduce的编程规范步骤 ##

**（1）map阶段：2步**

1、读取数据，将读取过来的数据转换为k1和v1。

2、自定义map逻辑，将k1和v1转换为k2和v2。

**（2）shuffle阶段: 4步（接收map阶段的k2和v2转换为new k2和v2）**

3、`分区` : 将相同的k2的数据发往同一个reduce。

4、`排序` : 针对k2的数据进行排序工作。

5、`规约` : mr中优化步骤，用于进行局部聚合功能，一般是可以省略的。

6、`分组` : 将相同k2的数据分成一组，将v2的数据合并形成一个集合。

**（3）reduce阶段: 2步**

7、自定义reduce逻辑，接收k2和v2的数据，将其转换为k3和v3。

8、输出结果，将k3和v3输出到目的地。

注意：k2就是整个MR的灵魂。

## 3）MapReduce的并行度机制 ##

何为并行度： 在执行MR的时候，map运行的数量以及reduce运行数量由谁来决定的问题。

（1）`map运行的数量`：取决于读取文件的大小，默认情况下，是按照128M一个Map来处理，同时每一个文件至少会有一个map来读取。MR对整个文件进行读取工作，然后对整个文件进行`逻辑划分（FileSplit）`：文件切片。

（2）`reduce运行数量`： 一般有人为来设定的，当业务需求要求结果是多个文件的时候，这个时候一般就要设置reduce的数量。一个reduce就会输出一个聚合结果，多个reduce就会输出多个聚合结果。同时reduce数量还取决分区的数量，如果进行\`自定义分区，分区数量要和reduce是相等的。

## 4）map阶段的工作机制 ##

（1）通过FileInputFormat读取目标地址的数据，通过FileInputFormat对目标数据进行FileSplit的逻辑分片数据，最终会启动多少个`mapTask`取决于`FileSplit的逻辑分片的数量`，读取后，将数据转换为K1和v1。

（2）`自定义map逻辑`，接收k1和v1，将k1和v1转换为k2和v2：读取一行，调用一次map逻辑，输出k2和v2。

（3）进行分区操作：map端输出一次k2和v2，那么分区逻辑就会对k2进行分区操作，默认采用`HASH`取模计算法，计算后，对k2进行分区标记。然后将标记好的k2和v2写入到`环形缓冲区`。

（4）随着不断写入到`环形缓冲区`，环形缓冲区默认的大小为100M，当达到缓冲区的80%的时候，MR会启动一个`溢写线程`，将80%数据写出到磁盘中，形成一个`临时文件`，在执行溢写过程中，还会对k2数据进行排序操作，如果设置了规约，那么也就会在这个时候执行了。

（5）不断的写入，不断的溢写，产生多个临时文件，当mapTask执行完成后，会将最后的缓冲区的数据一并写出`磁盘`上，然后开始进行合并操作，保证一个MapTask只会产生一个最终的结果文件，在合并的过程中，同样也会进行排序，并且有规约依然还会执行操作。

（6）当`mapTask`的结果文件形成后，静静等待`reduceTask`的拉取即可。

**shuffle中: 分区 排序 规约 属于 map端的shuffle过程。**

## 5）reduce阶段的工作流程: ##

（1）当map执行完成后，reduce开始执行`拉取`工作，每一个reduce到mapTask执行的结果文件中，拉取属于自己分区的数据。

（2）将数据首先拉取到`内存`中，当内存写满后，将数据溢写到`磁盘`上，形成多个`临时文件`，在溢写的时候，依然会对数据进行排序。

（3）当整个拉取工作结束后，对多个临时文件数据执行`merge（合并）`操作，将多个临时文件合并为一个`结果文件`，同时合并过程依然排序。

（4）对合并后的结果文件，开始执行分组操作，分好一组数据后，就会调用一次reduce的逻辑，reduce接收k2和v2的数据，将其转换为k3和v3。

（5）reduce每输出一次k3和v3，就会被FileOutPutFormat接收到，然后将数据追加到结果文\`上。

（6）当整个reducer将所有的分组数据都处理完成，结果文件，也就产生了。

**shuffle中：分组属于reduce的shuffle过程。**

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 Feign的基本使用步骤和工作原理

Feign（通常称为 OpenFeign）是一个声明式的、模板化的 HTTP 客户端，用于简化微服务架构中服务间的通信。它是 Spring Cloud 生态系统中的一部分，旨在

清疚/ 2024年03月23日 17:32/ 0 赞/ 202 阅读

相关 JVM工作原理及编程实践

Java虚拟机（JVM）是Java程序的核心组件，它负责将Java源代码编译成可执行的字节码并运行。本文将详细介绍JVM的工作原理，并提供一些编程实践的示例代码。 JVM的工

不念不忘少年蓝@/ 2024年02月25日 07:47/ 0 赞/ 108 阅读

相关 Docker 的工作原理及安装步骤【云原生】

文章目录 1. Docker 的工作原理 2. Docker 与虚拟机 3. Docker 架构 4. 安装 Doc

快来打我*/ 2024年02月05日 23:31/ 0 赞/ 55 阅读

相关【Hadoop-MapReduce】MapReduce编程步骤及工作原理

【Hadoop-MapReduce】MapReduce编程步骤及工作原理 1）MapReduce的基本介绍：分布式计算框架 2）MapReduce的编程规范步

川长思鸟来/ 2023年10月05日 16:25/ 0 赞/ 5 阅读

相关（超详细）MapReduce工作原理及基础编程

MapReduce工作原理及基础编程（代码见文章后半部分） JunLeon——go big or go home -------------------- ![wat

本是古典何须时尚/ 2023年10月02日 13:25/ 0 赞/ 105 阅读

相关 CRC校验原理及步骤

1、CRC是用来干嘛的？检测数据传输过程中是否出现错误（某些位，或某几位，或者某块区域位错误）。 2、CRC是否能校正数据传输中的错误？ CRC只能检错，不能纠错。如果

深藏阁楼爱情的钟/ 2023年09月30日 14:59/ 0 赞/ 3 阅读

相关 Canal工作原理和安装步骤详解

一、工作原理 1、简介 canal可以用来监控数据库数据的变化，从而获得新增数据、修改数据，阿里公司开始尝试逐步基于数据库的日志解析，获取增量变更进行同步，由此衍生出了

淡淡的烟草味﹌/ 2022年12月26日 00:50/ 0 赞/ 269 阅读

相关 SpringMVC工作流程及原理

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbmd5

深碍√TFBOYSˉ_/ 2022年12月21日 14:52/ 0 赞/ 353 阅读

相关 Webservice工作原理及实例

[Web Service工作原理及实例][Web Service] 一、Web Service基本概念 Web Service也叫XML

布满荆棘的人生/ 2022年06月11日 06:48/ 0 赞/ 373 阅读

相关 SpringMVC框架工作流程图及工作原理

SpringMVC框架的工作原理图： ![70][] SpringMVC的具体工作原理 1、客户端用户发送请求至前端控制器DispatcherServlet。 2、 D

谁践踏了优雅/ 2022年05月20日 01:11/ 0 赞/ 457 阅读