轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类

矫情吗；* 2024-03-17 09:15 61阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.54 场景题之ReduceJoin自定义序列化类

![在这里插入图片描述][ceaf92e41b8643e4bbc1acdc99ccf484.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.54 场景题之ReduceJoin自定义序列化类 ######

之前我们已经大致完成了对MR 实现join 的方法过程

![在这里插入图片描述][cb8012c3b4904f65b729d8f10830137f.png_pic_center]

数据如下：

`emp.txt` 员工数据

7369	SMITH	CLERK	7902	1980-12-17	800.00		20
    7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30
    7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30
    7566	JONES	MANAGER	7839	1981-4-2	2975.00		20
    7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30
    7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30
    7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10
    7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20
    7839	KING	PRESIDENT		1981-11-17	5000.00		10
    7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30
    7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20
    7900	JAMES	CLERK	7698	1981-12-3	950.00		30
    7902	FORD	ANALYST	7566	1981-12-3	3000.00		20
    7934	MILLER	CLERK	7782	1982-1-23	1300.00		10

![在这里插入图片描述][e1c6ff74fee84620a0bc89f11bf50e45.png_pic_center]

*  员工编号、员工名字、员工岗位、员工上级领导编号、出生日期、工资、(补贴，有些有有些没有)、部门编号

还有一个部门表`dept.txt`

10	ACCOUNTING	NEW YORK
    20	RESEARCH	DALLAS
    30	SALES	CHICAGO
    40	OPERATIONS	BOSTON

![在这里插入图片描述][a37c61135c414b419f17ae9b93348b9a.png_pic_center]

*  部门编号、部门名称、部门location

我们就用这两张表做join 查询。

`select e.empno,e.ename,e.deptnp,d.dname from emp e join dept d on e.deptno=d.deptno;`

首先当然就是自定义我们的序列化类

package com.dingjiaxiong.mr.scenarios;
    
    import org.apache.hadoop.io.Writable;
    
    import java.io.DataInput;
    import java.io.DataOutput;
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/8/23 12:47 PM
     */
    public class Info implements Writable {
        
    
        private int empno; // 员工编号
        private String ename; // 员工名
    
        private int deptno; // 部门编号
    
        private String dname; // 部门名
    
        private int flag; // 标志位
    
        @Override
        public void write(DataOutput out) throws IOException {
        
            out.writeInt(empno);
            out.writeUTF(ename);
            out.writeInt(deptno);
            out.writeUTF(dname);
            out.writeInt(flag);
        }
    
        @Override
        public void readFields(DataInput in) throws IOException {
        
            this.empno = in.readInt();
            this.ename = in.readUTF();
            this.deptno = in.readInt();
            this.dname = in.readUTF();
            this.flag = in.readInt();
        }
    
        public Info() {
        
        }
    
        public Info(int empno, String ename, int deptno, String dname, int flag) {
        
            this.empno = empno;
            this.ename = ename;
            this.deptno = deptno;
            this.dname = dname;
            this.flag = flag;
        }
    
        public int getEmpno() {
        
            return empno;
        }
    
        public void setEmpno(int empno) {
        
            this.empno = empno;
        }
    
        public String getEname() {
        
            return ename;
        }
    
        public void setEname(String ename) {
        
            this.ename = ename;
        }
    
        public int getDeptno() {
        
            return deptno;
        }
    
        public void setDeptno(int deptno) {
        
            this.deptno = deptno;
        }
    
        public String getDname() {
        
            return dname;
        }
    
        public void setDname(String dname) {
        
            this.dname = dname;
        }
    
        public int getFlag() {
        
            return flag;
        }
    
        public void setFlag(int flag) {
        
            this.flag = flag;
        }
    
        @Override
        public String toString() {
        
            return empno + "\t" + ename + "\t" + deptno + "\t" + dname;
        }
    }

![在这里插入图片描述][517eb0c6f3e04845995634a6cf0538b2.png_pic_center]

这样序列化类就完成了，下面是MapReduce。

[ceaf92e41b8643e4bbc1acdc99ccf484.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7df867e735c14ef4aa79cfdeff35bdb9.png
[cb8012c3b4904f65b729d8f10830137f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6224c63c98eb40779c09f0e7ac717c20.png
[e1c6ff74fee84620a0bc89f11bf50e45.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/056ca525ad354d399bf7c1eb16f5ea1b.png
[a37c61135c414b419f17ae9b93348b9a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c02504ee03f4496c86c4a4362577be3f.png
[517eb0c6f3e04845995634a6cf0538b2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/8d49e896989d49178589ed867e9a759e.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.26 Hadoop序列化之总结

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.25 Hadoop序列化之自定义Driver类及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.24 Hadoop序列化之自定义Reducer类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.23 Hadoop序列化之自定义Mapper类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.22 Hadoop序列化之自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.17 序列化概述

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类