clickhouse日志存储磁盘空间膨胀处理办法

ゞ浴缸里的玫瑰 2024-03-27 15:05 180阅读 0赞

#### 文章目录 ####

*  前言
 *  一、清理query日志
 *  二、修改配置文件（控制日志膨胀）

--------------------

## 前言 ##

clickhouse在使用过程中，日志会不断增长；同时config.xml配置文件配置的不合理也会导致日志磁盘空间膨胀。以下内容说明如果处理clickhouse数据库日志不断增长的问题。

**注意：若只清理日志存储空间仅执行第一步即可；若避免以后再发生改问题，请第一、二步同时执行。**

## 一、清理query日志 ##

**1、执行以下sql生成清理分区的脚本。**

select 'alter table system.'||table||' drop partition '''||partition||''';' as exe_sql from system.parts where database = 'system' and table in ('query_log','query_thread_log') group by partition,table order by partition;

**2、复制并执行生成的脚本，如下图**

![在这里插入图片描述][780d9f772f024e2680828c8e93a10866.png]

## 二、修改配置文件（控制日志膨胀） ##

**1、打开配置文件config.xml。**  
命令：vi /etc/clickhouse-server/config.xml  
**2、注释<partition\_by>并增加以下配置内容，如下图。  
增加内容如下：**

<engine>Engine = MergeTree PARTITION BY event_date ORDER BY event_time TTL event_date + INTERVAL 30 day</engine>

下图为设置query\_log和query\_thread\_log保留30天的日志。  
![在这里插入图片描述][ffbdc9657a4e4c05bd74587583496103.png]  
**3、重启clickhouse数据库**  
命令：systemctl restart clickhouse-server

[780d9f772f024e2680828c8e93a10866.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/14e01b1ac70845e69b26b204048c396e.png
[ffbdc9657a4e4c05bd74587583496103.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/facdb5561cb94534a794a1e1390ee0ff.png