java hadoop（三） hadoop mapreduce 编程流程（以单词统计为例）

我就是我 2022-10-05 13:56 195阅读 0赞

### **一、首先是map层** ###

1、首先我们的文件是存储在hdfs，hdfs存储文件是按block块进行存储的，每个块的大小默认是128M。

2、我们是用InputFormat下边的子类TextInputFormat进行文件按行读取成K1 V1 模式

K1:这一行的起始点在文件中的偏移量

V1:读取到的内容

3、每个block都会启动一个MapTask进行处理，map的主要操作就是将读取的内容转换成 K2 V2

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70][]![20210609153138931.png][]

### **二、进入Shuffle阶段，生成新的K2 V2** ###

1、 对map阶段输出的k2和v2对进行分区

可以根据K2的长度、大小、尾号等等进行分区

2、 对不同分区的数据按照相同的Key排序

可以根据自定义的规则对数据进行排序

3、(可选)对数据进行局部聚合, 降低数据的网络拷贝

规约就是对相同K的数据的值存到一个集合中（或者相加）或者自定义处理，可以用来减少网络IO传输

4、对数据进行分组, 相同Key的Value放入一个集合中,得到K2和\[V2\]

根据K进行分组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70 1][]![20210609154254566.png][]

### **三、Reduce阶段** ###

1、对map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。

2、对多个map任务的输出进行合并、排序。编写reduce方法，在此方法中将K2和\[V2\]进行处理，转换成新的key、value(K3和V3)输出，并把reduce的输出保存到文件中

这里有几个ReduceTask是根据我们的分区数量来的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210609152739453.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3,size_16,color_FFFFFF,t_70
[20210609153138931.png]: /images/20221005/e5c5600dc4d14790b65fb334d22683e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210609153503999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3,size_16,color_FFFFFF,t_70
[20210609154254566.png]: /images/20221005/3635dce4e2284473a1068a67b67887e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70 2]: /images/20221005/f774aadfa1c549a6b89c99685f95d750.png