【置顶】ClickHouse MaterializeMySQL实时同步MySQL汇总

落日映苍穹つ 2022-12-31 01:09 274阅读 0赞

原文出处：https://bohutang.me/3030/12/12/clickhouse-and-friends-mysql-replication-materializemysql/

![format_png][]

最后更新: 2020-09-19

## 1. 如何下载 ##

因为 MaterializeMySQL 还处于 experimental 阶段，根据社区反馈的问题、需求我们也在进行修复和开发，请大家尽量下载最新版进行体验:

目前任何 master 分支的 build 都可以试用，比如选择 20.10.1.4699 下载安装。

## 2. 如何使用 ##

CREATE DATABASE ckdb ENGINE = MaterializeMySQL('[mysql-host]:[mysql-port]', '[mysql-database]', '[mysql-user]', '[mysql-password]');

## 3. 更新汇总 ##

*  \[x\] 支持 decimal 类型 PR\#14535
 *  \[x\] 支持 DATETIME(x) fractional seconds precision PR\#13761
 *  \[ \] 支持 YEAR, TIME 类型 (TODO)
 *  \[ \] 支持 DROP TABLE database.table, table\_2, ... 语法 (TODO)
 *  \[ \] 支持 gc thread 清理已经 deleted 的数据 (TODO)
 *  \[ \] 支持复制状态查询 (TODO)

##  4. 遇到问题 ##

*  提bug
 *  提问题/需求
 *  加入 ClickHouse 交流社群，请在 about 添加博主后提申请

## 5. 问题线索采集 ##

### 5.1 错误日志 ###

clickhouse-server log 错误日志

### 5.2 执行的SQL操作 ###

*  MySQL 表结构
 *  MySQL 侧配置
 *  MySQL 侧执行过的 SQL

## 6. 老版本问题 ##

*  MaterializeMySQL Data inconsistency between MySQL and Clickhouse (已修复，请使用master最版本)
 *  MaterializeMySQLSyncThread: Attempt to read after eof (已修复，请使用master最版本)
 *  MaterializeMySQLSyncThread DB::Exception: Packet payload is not fully read (已修复，请使用master最版本)
 *  Cannot open file /data/clickhouse/metadata/dmp\_idm//.metadata.tmp, errno: 17, strerror: File exists (已修复，请使用master最版本)

## 7. 相关博文 ##

*  ClickHouse和他的朋友们（9）MySQL实时复制与实现
 *  ClickHouse和他的朋友们（11）MySQL实时复制之GTID模式

全文完。

Enjoy ClickHouse :)

叶老师的「MySQL核心优化」大课已升级到MySQL 8.0，扫码开启MySQL 8.0修行之旅吧

![format_png 1][]

[format_png]: /images/20221120/5722acb7ba514b4a9c3698d7464d8600.png
[format_png 1]: /images/20221120/7322451f5b90401a802c37a30441d130.png