轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

男娘i 2024-03-17 09:16 73阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.55 场景题之ReduceJoin功能开发及测试

![在这里插入图片描述][f1b9b180d47e445a9edea40ecbeb9451.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.55 场景题之ReduceJoin功能开发及测试 ######

![在这里插入图片描述][916c12e7e0d34cb1a2a702046b11562b.png_pic_center]

在这整个处理过程中，我们是按照key 进行shuffle，然后在reduce 端完成join 操作。

这个过程又叫ReduceJoin，或者ShuffleJoin、或者CommonJoin

OK， 开始编写逻辑：

package com.dingjiaxiong.mr.scenarios;
    
    import com.dingjiaxiong.utils.FileUtils;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.InputSplit;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.input.FileSplit;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    import java.io.IOException;
    import java.sql.Array;
    import java.util.ArrayList;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/8/23 11:02 AM
     */
    public class ReduceJoinApp {
        
    
        public static void main(String[] args) throws Exception {
        
            String input = "data/join";
            String output = "out";
    
            Configuration configuration = new Configuration();
            Job job = Job.getInstance(configuration);
    
            FileUtils.delele(configuration, output);
    
            job.setJarByClass(ReduceJoinApp.class);
    
            job.setMapperClass(MyMapper.class);
            job.setReducerClass(MyReducer.class);
    
            job.setMapOutputKeyClass(IntWritable.class);
            job.setMapOutputValueClass(Info.class);
    
            job.setOutputKeyClass(Info.class);
            job.setOutputValueClass(NullWritable.class);
    
            FileInputFormat.setInputPaths(job, new Path(input));
            FileOutputFormat.setOutputPath(job, new Path(output));
    
            boolean result = job.waitForCompletion(true);
            System.exit(result ? 0 : 1);
        }
    
        public static class MyMapper extends Mapper<LongWritable, Text, IntWritable, Info> {
        
    
            String name;
    
            @Override
            protected void setup(Mapper<LongWritable, Text, IntWritable, Info>.Context context) throws IOException, InterruptedException {
        
                FileSplit fileSplit = (FileSplit) context.getInputSplit();
                name = fileSplit.getPath().toString();
    
                System.out.println("=====" + name);
            }
    
            @Override
            protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, IntWritable, Info>.Context context) throws IOException, InterruptedException {
        
                String[] splits = value.toString().split("\t");
                if (name.contains("emp")) {
         // 来自于emp
                    int empno = Integer.parseInt(splits[0].trim());
                    String ename = splits[1].trim();
                    int deptno = Integer.parseInt(splits[7].trim());
    
                    Info info = new Info(empno, ename, deptno, "", 1);
                    context.write(new IntWritable(deptno), info);
                } else {
         // 来自于dept
                    int deptno = Integer.parseInt(splits[0].trim());
                    String dname = splits[1].trim();
                    Info info = new Info(0, "", deptno, dname, 2);
    
                    context.write(new IntWritable(deptno), info);
                }
            }
        }
    
        public static class MyReducer extends Reducer<IntWritable, Info, Info, NullWritable> {
        
            @Override
            protected void reduce(IntWritable key, Iterable<Info> values, Reducer<IntWritable, Info, Info, NullWritable>.Context context) throws IOException, InterruptedException {
        
    
                ArrayList<Info> infos = new ArrayList<Info>();
                String dname = "";
                for (Info info : values) {
        
                    if (info.getFlag() == 1) {
         // emp
                        Info tmp = new Info();
                        tmp.setEmpno(info.getEmpno());
                        tmp.setEname(info.getEname());
                        tmp.setDeptno(info.getDeptno());
                        infos.add(tmp);
                    } else if (info.getFlag() == 2) {
         // dept
                        dname = info.getDname();
                    }
                }
    
                for (Info bean : infos) {
        
                    bean.setDname(dname);
                    context.write(bean, NullWritable.get());
                }
            }
        }
    }

运行结果

![在这里插入图片描述][bf0530ac5358499ab75728dae34c8008.png_pic_center]

![在这里插入图片描述][f6c3bae5af8c4a2797cee0a5dcb2755c.png_pic_center]

没有问题。

有一个地方必须要new 出一个新的对象

![在这里插入图片描述][00397b07bea04ed7813bbf6f045d35d4.png_pic_center]

如果我们直接将就使用values 中的info 对象，结果是下面这样的

![在这里插入图片描述][090a850365174475ab80e184febcf1e1.png_pic_center]

运行结果

![在这里插入图片描述][62cf7dbd4bf8484280e58fd19650780d.png_pic_center]

这样很明显不对。所以一定记得 new 一个中间对象进行处理

![在这里插入图片描述][3ede2e7fd32c4d51b0a8d464bf711d73.png_pic_center]

[f1b9b180d47e445a9edea40ecbeb9451.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/341e6a24210e4c10a95f21a105e735c6.png
[916c12e7e0d34cb1a2a702046b11562b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/bb2964a202be4aaa949e42fb8449d2da.png
[bf0530ac5358499ab75728dae34c8008.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/10fda4b4b64041dc875c00a135241083.png
[f6c3bae5af8c4a2797cee0a5dcb2755c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c2d7fde6f9c74f05a0e95ecb6d2d6932.png
[00397b07bea04ed7813bbf6f045d35d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/952595bd901a45bd8d580cee7b32fddc.png
[090a850365174475ab80e184febcf1e1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/23b9829e39ca425d9fccc19bd67c08e2.png
[62cf7dbd4bf8484280e58fd19650780d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3621169207fa47c3bf8b4f406dea9ee5.png
[3ede2e7fd32c4d51b0a8d464bf711d73.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7262f42b9d674666a83d731ce3618c25.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.4 MapReduce核心进程

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.58 场景题之MapJoin功能实现及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.52 场景题之distinct功能实现及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.50 场景题之groupby功能开发及测试