《手摸手带你学ClickHouse》之MergeTree系列表引擎

刺骨的言语ヽ痛彻心扉 2023-10-01 17:51 61阅读 0赞

> 本文同步发表于我的微信公众号，扫一扫文章底部的二维码或在微信搜索 chaodev 即可关注。

#### 文章目录 ####

*   *   *  1、MergeTree系列表引擎
         *  2、MergeTree表引擎
         *   *  2.1 创建表
             *  2.2 底层数据结构
             *  2.3 主键没有唯一性要求
             *  2.4 合并树
             *  2.5 索引粒度
             *  2.6 分区

推荐阅读：  
[《手摸手带你学ClickHouse》之安装部署][ClickHouse]  
[《手摸手带你学ClickHouse》之访问接口][ClickHouse 1]  
[《手摸手带你学ClickHouse》之导入导出数据][ClickHouse 2]

前面的文章详细介绍了ClickHouse单机的安装部署、ClickHouse监听端口、访问接口、设置允许其他ip访问、可视化的客户端以及数据的导入导出。本文主要内容为ClickHouse数据存储功能的核心，也就是MergeTree系列的表引擎。

#### 1、MergeTree系列表引擎 ####

MergeTree系列的表引擎是ClickHouse数据存储功能的核心。它们提供了用于弹性和高性能数据检索的大多数功能：列存储，自定义分区，稀疏的主索引，辅助数据跳过索引等。基本MergeTree表引擎可以被认为是单节点ClickHouse实例的默认表引擎，因为它在各种用例中通用且实用。

除了基础表引擎`MergeTree`之外，常用的表引擎还有`ReplacingMergeTree、SummingMergeTree、AggregatingMergeTree、CollapsingMergeTree和VersionedCollapsingMergeTree`。

每一种合并树的变种，在继承了基础MergeTree的能力之后，又增加了独有的特性。其名称中的“合并”二字奠定了所有类型MergeTree的基因，它们的所有特殊逻辑，都是在触发合并的过程中被激活的。

主要特点：

*  存储按主键排序的数据。
 *  如果指定了分区键则可以使用分区。

表引擎（即表的类型）决定了：

*  数据的存储方式和位置，写到哪里以及从哪里读取数据.
 *  支持哪些查询以及如何支持。
 *  并发数据访问。
 *  索引的使用（如果存在）。
 *  是否可以执行多线程请求。
 *  数据复制参数。

后续内容将针对常用表引擎的使用进行详细讲解，下面我们先看基础表引擎MergeTree。

#### 2、MergeTree表引擎 ####

MergeTree表引擎是ClickHouse的基础表引擎，下面进行详细介绍。

##### 2.1 创建表 #####

create table tb_merge_tree(
    uid UInt8,
    name String,
    birthday Date,
    city String ,
    gender String
    )engine = MergeTree()
    primary key uid
    order by (uid ,birthday);

注：如果指定了主键，排序字段第一个字段必须是主键。如果没指定，则排序字段就是主键字段。

插入数据：

insert into tb_merge_tree values(1,'zhangsan',toDate(now()),'BJ','M'),
    (2,'lisi',toDate(now()),'SH','M'),
    (3,'wanger ','1996-01-05','BJ','M');

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16]

##### 2.2 底层数据结构 #####

接下来我们看下底层是怎么组织数据的，进入到数据存储目录  
![在这里插入图片描述][c0646c7d1a104de4a1f1e8048ed5f981.png]

因为这个表没有建立分区，所以数据都在all这个里面  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16]

.bin的就是字段值，.mrk2是标记，标记数据的位置，checksums.txt是做数据校验的，count.txt记录当前数据的条数。

##### 2.3 主键没有唯一性要求 #####

在ClickHouse中主键可重复，没有唯一性要求，只是用来建立索引，如下，我们可以再插入一次相同数据  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16 1]

##### 2.4 合并树 #####

这里需要注意的是，如果再次插入数据，这里还会再产生一个all文件，因为是不同批次插入的数据，如下  
![在这里插入图片描述][341b9022a7804641a24b3ebf657a155e.png]

可以看到数据也是分两块来存储  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16 2]

如果需要合并树，执行如下命令

optimize table tb_merge_tree;

或者

optimize table tb_merge_tree final;

加final的作用是如果有多个会同时一次性合并。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_17_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][d79908fb2bbb4aa7ad24a650170c84ae.png]  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 1]

可以看到数据已合并到all\_1\_3\_2中，过一段时间另外两个将会自动删除，如下  
![在这里插入图片描述][eedcc1218d7544c89feebbdc0cd0f07a.png]

##### 2.5 索引粒度 #####

上面我们创建表的时候没有指定索引粒度，因为默认就是8192，查看一下建表语句  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 2]

SETTINGS index_granularity = 8192

设置为8192就代表每隔8192行数据建一个索引，这样就大大节省了索引标记占用的空间，所以primary.idx内的索引数据常驻内存，取用速度就会很快。

##### 2.6 分区 #####

要使用分区需要在建表的时候指定partition by 字段名，如下

create table tb_merge_tree2(
    uid UInt8,
    name String,
    birthday Date,
    city String
    )engine = MergeTree()
    partition by birthday
    primary key uid
    order by (uid ,birthday);

这里指定了生日为分区，也就是日期相同的会在同一个分区，插入数据

insert into tb_merge_tree2 values(1,'zhangsan',toDate(now()),'BJ'),
    (2,'lisi',toDate(now()),'KM'),
    (3,'wanger ','1996-01-01','BJ'),
    (3,'mazi ','1996-01-01','KM'),
    (3,'mazi ','2000-11-11','KM');

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_14_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][5f4d35ef524444ab9b2119ea60ffdfab.png]

可以看到，这里按日期建立了三个分区存储，在system的parts表中也可以查询到分区信息，如下

select table,name,partition from system.parts where table='tb_merge_tree2';

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 3]

> 后续将继续更新该系列，大佬超手摸手带你学ClickHouse，敬请关注！！！

--------------------

觉得有帮助点个赞吧！！！  
原创不易，转载请注明出处。

> 微信扫一扫下方二维码即可关注我的公众号  
> ![201911051045512.jpg][]

[ClickHouse]: https://blog.csdn.net/xch_yang/article/details/122309471
[ClickHouse 1]: https://blog.csdn.net/xch_yang/article/details/122370442
[ClickHouse 2]: https://blog.csdn.net/xch_yang/article/details/122817778
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/c035fba0997145f6bad075823b9e07d4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_16,color_FFFFFF,t_70,g_se,x_16
[c0646c7d1a104de4a1f1e8048ed5f981.png]: https://img-blog.csdnimg.cn/c0646c7d1a104de4a1f1e8048ed5f981.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/bb2473c808944977b0ae7351fa552966.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/7eaf4ce3b26b4f2084bac061ab522a77.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_16,color_FFFFFF,t_70,g_se,x_16
[341b9022a7804641a24b3ebf657a155e.png]: https://img-blog.csdnimg.cn/341b9022a7804641a24b3ebf657a155e.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_16_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/02ee4e846ddf421595f8e7de900b5044.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_16,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_17_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/e32fcfa84cb54f1e8b3327d4c7bdfbdd.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_17,color_FFFFFF,t_70,g_se,x_16
[d79908fb2bbb4aa7ad24a650170c84ae.png]: https://img-blog.csdnimg.cn/d79908fb2bbb4aa7ad24a650170c84ae.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/88e65516c6a546d594374142932f9bf9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_20,color_FFFFFF,t_70,g_se,x_16
[eedcc1218d7544c89feebbdc0cd0f07a.png]: https://img-blog.csdnimg.cn/eedcc1218d7544c89feebbdc0cd0f07a.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/5127cc9b1fc4478aae69900c0de8fb2d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_14_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/e9282bb6786043fd804904bed9af6e10.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_14,color_FFFFFF,t_70,g_se,x_16
[5f4d35ef524444ab9b2119ea60ffdfab.png]: https://img-blog.csdnimg.cn/5f4d35ef524444ab9b2119ea60ffdfab.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/a1aa8f8dbdd14c9aa43a015966829b67.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF,size_20,color_FFFFFF,t_70,g_se,x_16
[201911051045512.jpg]: https://img-blog.csdnimg.cn/201911051045512.jpg