ClickHouse 实践经验

素颜马尾好姑娘i 2023-10-02 15:56 27阅读 0赞

1：[参考 ： ClickHouse Better Practices - 简书][_ ClickHouse Better Practices -]

**数据类型：**

*  不要全部设置成 String，能用数值、DateTime 就用，更快。
 *  不要允许为 Nullable，Nullable 一方面需要额外创建文件存储NULL值的标记，一方面不能加入到索引中。（使用字段默认值或者无意义值）
 *  DateTime 类型，可读性佳、转换函数丰富、性能佳

**分区和索引**

*  分区的粒度必须与业务紧密结合，不宜过细也不宜过粗。看占比最大的查询，到底是小时级别还是天级别？（一般都是天级别的查询）
 *  索引必须设置，且必须覆盖到绝大多数 SQL 查询中的 where条件中的字段，
 *  索引是稀疏索引，不必考虑最左原则。
 *  索引列的顺序建议是使用频率靠前的在前，基数大的在前。（但是基数特别大的不适合作为索引）
 *  ![c50609c203d21f9a5b84a2bb3aaf3b47.png][]
    
    (使用 counter\_id和 date 作为索引，counter\_id 在前，数据会先按照 counter\_id排序，counter\_id 相同的数据再按照 date 排序，排完序之后，根据索引粒度采样组成索引)
 *  索引粒度不建议改，8192.

**表参数优化：**

*  设置自动清理数据参数，建议指定 TTL，建表之后也可以通过 alter table 修改。
 *  线上服务表采用复制表+分布式表，分布式表中的本地表命名为\_all后缀
 *  压缩表元数据再 zookeeper 中的存储，use\_minimalistic\_part\_header\_in\_zookeeper = 1（写在 config 参数中也可以）

[_ ClickHouse Better Practices -]: https://www.jianshu.com/p/363d734bdc03
[c50609c203d21f9a5b84a2bb3aaf3b47.png]: https://img-blog.csdnimg.cn/img_convert/c50609c203d21f9a5b84a2bb3aaf3b47.png

发表评论取消回复

表情：

评论列表（有 0 条评论，27人围观）

还没有评论，来说两句吧...

相关阅读

相关 ClickHouse 实践经验

1：[参考： ClickHouse Better Practices - 简书][_ ClickHouse Better Practices -] 数据类型：不要

素颜马尾好姑娘i/ 2023年10月02日 15:56/ 0 赞/ 28 阅读

相关 clickhouse函数数组实践

一个字段值按照一个标记拆分成数组，然后用函数从数组中获取数据如果依赖java程序解析字段，字段一般存json，如果依赖sql解析一般字段存a|b|c标识分割，用函数变成数组

Myth丶恋晨/ 2023年07月04日 11:15/ 0 赞/ 195 阅读

相关【ClickHouse系列】ClickHouse表引擎MergeTree实践

MergeTree系列 Log、Special、Integration主要用于特殊用途，场景相对有限。MergeTree系列才是官方主推的存储引擎，支持几乎所有Click

不念不忘少年蓝@/ 2023年05月28日 14:16/ 0 赞/ 166 阅读

相关 clickhouse优化 - 最佳实践

> clickhouse在易企秀数据仓库项目中已投入使用两年，主要为内部用户提供快速查询和多维分析的能力；希望你在业务当中遇到的性能问题，在这里都能得到解决 Clickhou

Myth丶恋晨/ 2023年01月23日 07:53/ 0 赞/ 35 阅读

相关 ClickHouse入门实践--MergeTree原理解析

原文：[https://segmentfault.com/a/1190000023089140?utm\_source=tag-newest][https_segmentfa

叁歲伎倆/ 2023年01月20日 09:50/ 0 赞/ 88 阅读

相关 clickhouse 同步mysql_ClickHouse 在趣头条的实践

![ab60e533e1cbeb4dd55d8b8edd72fb59.png][] 王海胜趣头条数据中心大数据开发工程师 8年互联网工作经验，曾在eBay、唯品会

待我称王封你为后i/ 2023年01月01日 11:48/ 0 赞/ 569 阅读

相关 Clickhouse LB实践

目前Clickhouse在线上使用，不管是多分片还是多副本都是以集群方式部署，那么对外暴露多台Clickhouse服务，通常会通过LB方式使每台服务器能够均匀的接受到客户端的请

一时失言乱红尘/ 2022年12月01日 05:12/ 0 赞/ 332 阅读

相关京东 ClickHouse 高可用实践

导读：京东OLAP采取ClickHouse为主Doris为辅的策略，有3000台服务器，每天亿次查询万亿条数据写入，广泛服务于各个应用场景，经过历次大促考验，提供了稳定的服务。

Bertha 。/ 2022年09月12日 07:53/ 0 赞/ 539 阅读

相关【最佳实践】SequoiaDB数据分区实践与经验

数据分区的实践与经验介绍按照[SequoiaDB][]官网上的技术文档，搭建如下的集群环境，进行数据分区的实例。 1. 集群环境 <ta

╰半夏微凉°/ 2022年06月07日 08:22/ 0 赞/ 386 阅读

相关 ES实践经验分享

公司小伙伴最近分享了ES的实践经验，在此分享给大家：一、硬件环境选择如果有条件，尽可能使用SSD硬盘，不错的CPU。ES的厉害之处在于ES本身的分布式架构以及luc

╰+哭是因爲堅強的太久メ/ 2022年05月11日 03:24/ 0 赞/ 490 阅读