大数据-数仓-数据采集-业务数据（三）：增量同步采集【MySQL-(Maxwell)-＞Kafka-(Flume)-＞HDFS】【每日增量：每天只将业务数据中新增及变化的数据同步到数据仓库】

不念不忘少年蓝@ 2023-10-09 16:14 20阅读 0赞

![在这里插入图片描述][54cd2cc597a44ded9b229bec383a5920.png_pic_center]

![在这里插入图片描述][46a89f4355fc478d90ee64c3be569d13.png_pic_center]

![4846d662174f46938a4699bde859a5b6.png][]

#### 增量同步策略 ####

*  **解释**：每日增量，就是每天只将业务数据中的新增及变化的数据同步到数据仓库中，
 *  **适用**：表数据量大，且每天只会有新的数据插入的场景，
 *  **特点**：采用每日增量的表，通常会在首日先进行一个全量同步。
 *  **例如**：退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表

Maxwell的实现原理很简单，就是将自己伪装成Slave，并遵循Mysql主从复制的协议，从master中同步数据。

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:522.2pt;"> Maxwell官网地址：<a href="http://maxwells-daemon.io/" title="Maxwell's Daemon" rel="nofollow">Maxwell's Daemon</a> Maxwellgithub地址：<a href="https://github.com/zendesk/maxwel" title="https://github.com/zendesk/maxwel" rel="nofollow">https://github.com/zendesk/maxwel</a> </td> 
 </tr> 
 </tbody> 
</table>

## 一、第1章 Maxwell介绍 ##

### 1.1 Maxwell概述 ###

**1.** **介绍：**Maxwell是由美国Zendesk公司开源，使用Java编写的MySQL变更数据抓取软件。他会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以JSON的格式发送给Kafka、Kinesi等流数据处理平台。

### 1.2 Maxwell输出数据格式 ###

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#bfbfbf;border-color:#000000;width:174.1pt;"> 插入 </td> 
 <td style="background-color:#bfbfbf;border-color:#000000;width:174.15pt;"> 更新 </td> 
 <td style="background-color:#bfbfbf;border-color:#000000;width:174.15pt;"> 删除 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;width:174.1pt;"> mysql&gt; insert into gmall.student values(1,'zhangsan'); </td> 
 <td style="width:174.15pt;"> mysql&gt; update gmall.student set name = 'lisi' where id=1; </td> 
 <td style="width:174.15pt;"> mysql&gt; delete from gmall.student where id =1; </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;width:174.1pt;"> { &nbsp; "database":"gmall", &nbsp; "table":"student", &nbsp; "type":"insert", &nbsp; "ts":1634004537, &nbsp; "xid":1530970, &nbsp; "commit":true, &nbsp; "data":{ &nbsp;&nbsp;&nbsp; "id":1, &nbsp;&nbsp;&nbsp; "name":"zhangsan" &nbsp; } } </td> 
 <td style="width:174.15pt;"> { &nbsp; "database":"gmall", &nbsp; "table":"student", &nbsp; "type":"update", &nbsp; "ts":1634004657, &nbsp; "xid":1531916, &nbsp; "commit":true, &nbsp; "data":{ &nbsp;&nbsp;&nbsp; "id":1, &nbsp;&nbsp;&nbsp; "name":"lisi" &nbsp; }, &nbsp; "old":{ &nbsp;&nbsp;&nbsp; "name":"zhangsan" &nbsp; } } </td> 
 <td style="width:174.15pt;"> { &nbsp; "database":"gmall", &nbsp; "table":"student", &nbsp; "type":"delete", &nbsp; "ts":1634004751, &nbsp; "xid":1532725, &nbsp; "commit":true, &nbsp; "data":{ &nbsp;&nbsp;&nbsp; "id":1, &nbsp;&nbsp;&nbsp; "name":"lisi" &nbsp; } } </td> 
 </tr> 
 </tbody> 
</table>

字段说明：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:191.15pt;"> 1. database：变更数据所属的数据库 2. table： &nbsp;&nbsp;&nbsp;变更数据所属的表 3. type： &nbsp;&nbsp;&nbsp;&nbsp;数据变更类型 4. ts： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;数据变更发生的时间 5. xid： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;事务id </td> 
 <td style="vertical-align:top;width:331.05pt;"> </td> 
 </tr> 
 </tbody> 
</table>

[54cd2cc597a44ded9b229bec383a5920.png_pic_center]: https://img-blog.csdnimg.cn/54cd2cc597a44ded9b229bec383a5920.png#pic_center
[46a89f4355fc478d90ee64c3be569d13.png_pic_center]: https://img-blog.csdnimg.cn/46a89f4355fc478d90ee64c3be569d13.png#pic_center
[4846d662174f46938a4699bde859a5b6.png]: https://img-blog.csdnimg.cn/4846d662174f46938a4699bde859a5b6.png