轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.35 Partitioner功能及编程

刺骨的言语ヽ痛彻心扉 2024-03-17 08:59 84阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.35 Partitioner功能及编程

![在这里插入图片描述][1482d0e804eb437dbef0d2706da0e704.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.35 Partitioner功能及编程 ######

OK，之前我们已经认识了Mapper 和 Reducer 两个核心类

看到官方文档：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![在这里插入图片描述][457ce1ad979d46fd8442d5805ab2c3ee.png_pic_center]

下面我们要了解的是 Partitioner【分区】

Kafka、Spark、Flink都有

![在这里插入图片描述][22ae1d4a067641fb879ec921dc886248.png_pic_center]

这个东西干什么用的

![在这里插入图片描述][c2f7d16ce6554eae837642f978e9997f.png_pic_center]

之前我们统计手机号上下行流量的例子中

我现在有个需求，比如说把159开头的数据写到一个文件，139开头的写到一个文件，非159、139 的写到一个文件

即`根据指定的条件将结果输出到不同的文件中`，这样的需求就可以借助 Partitioner 这个类进行实现

分区程序对密钥空间进行分区。

Partitioner 控制中间映射输出的键的分区。密钥（或密钥的子集）用于派生分区，通常通过哈希函数。分区总数与作业的减少任务数相同。m因此，这控制了将中间键（以及记录）发送到哪个reduce 任务以进行归约。

HashPartitioner是默认的Partitioner。

![在这里插入图片描述][77c038f8449d4344a8cab394e9ca15e6.png_pic_center]

![在这里插入图片描述][b901f629f0d741489ea76eeff5d44e3e.png_pic_center]

一个接口，只有一个方法，这个方法的作用就是根据key 看它要写到哪个分区里面

![在这里插入图片描述][3048c462a2fb4aae839b0b2ff58803cb.png_pic_center]

在给定分区总数(即作业的reduce-task数)的情况下，获取给定键(因此记录)的分区号

默认实现 → HashPartitioner

![在这里插入图片描述][26b40d575a264182bd2fb4ef50edb810.png_pic_center]

![在这里插入图片描述][fe63909157cd49a593cd2f4659edb686.png_pic_center]

OK，我们用这个东西来实现一下我们上面的需求

![在这里插入图片描述][7e0028969a024b4094e9d960c9ff7930.png_pic_center]

自定义一个分区器

package com.dingjiaxiong.mr.partitioner;
    
    import com.dingjiaxiong.mr.ser.Access;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Partitioner;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 4:32 PM
     */
    public class AccessPartitioner extends Partitioner<Text, Access> {
        
        @Override
        public int getPartition(Text text, Access value, int numPartitions) {
        
            String phone = text.toString();
            if (phone.startsWith("139")) {
        
                return 0;
            } else if (phone.startsWith("159")) {
        
                return 1;
            } else {
        
                return 2;
            }
        }
    
    }

这样就形成了3 个不同的分区，OK，修改Driver

package com.dingjiaxiong.mr.partitioner;
    
    import com.dingjiaxiong.mr.ser.Access;
    import com.dingjiaxiong.mr.ser.AccessMapper;
    import com.dingjiaxiong.mr.ser.AccessReducer;
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 1:35 PM
     */
    
    /**
     * 八股文编程
     */
    public class AccessDriver {
        
    
        public static void main(String[] args) throws Exception {
        
    
            String input = "data/access.log";
            String output = "out";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(AccessDriver.class);
            job.setMapperClass(AccessMapper.class);
            job.setReducerClass(AccessReducer.class);
    
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(Access.class);
    
            job.setOutputKeyClass(NullWritable.class);
            job.setOutputValueClass(Access.class);
    
            // 自定义分区规则
            job.setPartitionerClass(AccessPartitioner.class);
            job.setNumReduceTasks(3);
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            job.waitForCompletion(true);
    
        }
    }

直接运行一下

![在这里插入图片描述][93fc43ccde164067b495bf57cc5d7d00.png_pic_center]

三个输出文件

第一个

![在这里插入图片描述][fcc042b2a2f74ba2819bcaa6c4a0c68e.png_pic_center]

139 开头的

第二个

![在这里插入图片描述][c40820c752744795916155f7c507cfd5.png_pic_center]

159 开头的，

最后一个

![在这里插入图片描述][cf410005c321443dae37388a071267de.png_pic_center]

其他，没有毛病。

【注意】reduce 数量和分区数量的关系：

当前我们这个栗子 reduce = partition，最后就出了3 个输出文件

如果reduce > partition ，

![在这里插入图片描述][71f641305a604a7ba8190805a4fbcea3.png_pic_center]

可以看到输出了5 个

![在这里插入图片描述][d163f8632a5b406cbc37b2b0fedd80e7.png_pic_center]

OK，前三个是对的，后两个是空的，所以记住【reduce 的数量决定了最终文件的输出个数】

如果reduce 直接写死等于1，

![在这里插入图片描述][ee44229c32a842f9994b5d5e26157120.png_pic_center]

只有一个文件输出

![在这里插入图片描述][a7a66558864c4ce7a8b155d40fdcb5fa.png_pic_center]

OK， 可以看到结果，和有无分区无关。这是第三种情况，

第四种情况，1 < reduce 数量 < partition 数量，比如我们现在可以设置为2

![在这里插入图片描述][f836d475ebca470abc3cb61bcabee070.png_pic_center]

直接报错了

13726230503 这个数据应该处于第三个分区(既不是139开头，也不是159开头)，但是现在没有那么多的reduce ，它根本没地方放，这个时候就直接报错了 ，所以这种情况很显然我们应该避免发生

一共四种情况，【记住了 】

[1482d0e804eb437dbef0d2706da0e704.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/632cbb891c414ae8a7b6453482ebfb38.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[457ce1ad979d46fd8442d5805ab2c3ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/19aadf50f7c142c590aace5ad3c48aa9.png
[22ae1d4a067641fb879ec921dc886248.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e50eb3f7026c48ab8db6c39459ce73c9.png
[c2f7d16ce6554eae837642f978e9997f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6b5e5745a8a740efb9848e3c2c3193b5.png
[77c038f8449d4344a8cab394e9ca15e6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3fc750a90a9f4f42978bd74a6bc1c830.png
[b901f629f0d741489ea76eeff5d44e3e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/45b2835a887e4ff4838794e2ee7de7b4.png
[3048c462a2fb4aae839b0b2ff58803cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a5c48e0d74e44b899aa7bf0ba4f2b8a2.png
[26b40d575a264182bd2fb4ef50edb810.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/60ffbd28e1bb4eba83f5ad6e36e40fd7.png
[fe63909157cd49a593cd2f4659edb686.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e286f0cb4d11491ca0113c5a97840eaf.png
[7e0028969a024b4094e9d960c9ff7930.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1c8e60e82d8f464f9efd91fffff7e131.png
[93fc43ccde164067b495bf57cc5d7d00.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/007575c9bd2d4fb9941c472c971254e0.png
[fcc042b2a2f74ba2819bcaa6c4a0c68e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/77be5ef508954f599fd625aaabe1ed86.png
[c40820c752744795916155f7c507cfd5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ecfa7c33353049599ab60cbc30da2f23.png
[cf410005c321443dae37388a071267de.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/37094a6d950046eea1dbf09102e74674.png
[71f641305a604a7ba8190805a4fbcea3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/245a84c0eb3547488c38b3fbcf981580.png
[d163f8632a5b406cbc37b2b0fedd80e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3e96881530ad429297fceacd087fd607.png
[ee44229c32a842f9994b5d5e26157120.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a06c0e9176e44856a631c990719f1df7.png
[a7a66558864c4ce7a8b155d40fdcb5fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3accb7bf5f9e42fcb1d4df1f8b19cce9.png
[f836d475ebca470abc3cb61bcabee070.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/4a218a2db2a345578e2d215add796b47.png