背景

clickhouse有很多系统表(参见https://clickhouse.com/docs/en/operations/system-tables），其中一些用来存储日志，比如query_log、query_thread_log、trace_log。默认情况下，ClickHouse不清理日志，因此随着时间推移，这些表会占用大量磁盘空间，有导致系统宕机的风险。

查看日志表的大小

可以通过system.parts查看各个表的大小。

SELECT 
    sum(rows) AS `总行数`,
    formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
    formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,
    round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`,
    `table` AS `表名`
FROM system.parts where database = 'system' group by `table`

结果如下：

清理日志数据

有2种删除方法

方法1：使用clickhouse的mutation语句

alter table system.query_log delete where event_date < '2022-01-01'

这种方法效率较低

方法2：直接删除分区

alter table system.query_log drop partition '202201';

默认情况下，日志是按月存储的。分区信息也可以在system.parts里查询到

SELECT * FROM system.parts where database = 'system' and `table`= 'query_log'

需要注意，当分区太大时，会删除失败。错误信息如下：

Size (154.47 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)

解决办法是在clickhouse数据目录下创建一个标记文件，然后再次执行分区删除语句。文件名如下：

<clickhouse-path>/flags/force_drop_table

细节可参考官网文档Server Settings | ClickHouse Docs

彻底解决

依靠人定期去检查和清理不是解决之道。可以设置日志表的TTL来自动清理数据。例如保存15天的日志可以使用以下SQL：

ALTERTABLE query_log MODIFY TTL event_date + toIntervalDay(15);

更好的办法是在系统配置文件配置：

<query_log>
    <database>system</database>
    <table>query_log</table>
    <engine>Engine = MergeTree PARTITION BY event_date ORDER BY event_time TTL event_date + INTERVAL 30 day</engine>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

详情可参考官网文档：Server Settings | ClickHouse Docs