ClickHouse入门

Posted 2023-02-16 TGB-Earnest

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ClickHouse入门相关的知识，希望对你有一定的参考价值。

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告

一、ClickHouse的特点

1、列式存储

以下面的表为例：

1)采用行式存储时，数据在磁盘上的组织结构为

好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的
2）采用列式存储时，数据在磁盘上的组织结构为：

这时想查所有人的年龄只需把年龄那一列拿出来就可以了
3）列式存储的好处

对于列的聚合、计数、求和等统计操作原因优于行式存储
由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重
由于数据压缩比更好，一方面节省了磁盘空间，另一方面对于cache也有了更大的发挥空间

2、DBMS的功能

几乎覆盖了标准SQL的大部分语法，包括DDL和DML，以及配套的各种函数，用户管理及权限管理，数据的备份与恢复

3、多样化引擎

ClickHouse和mysql类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。
目前包括合并树、日志、接口和其他四大类20多种引擎

4、高吞吐写入能力

ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction。通过类LSM tree的结构，ClickHouse在数据导入时全部是顺序append写，写入后数据段不可更改，在后台compaction时也是多个段merge sort后顺序写回磁盘。顺序写的特性，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能

官方公开benchmark测试显示能够达到50MB-200MB/s的写入吞吐能力，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度

5、数据分区与线程级并行

ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity（索引粒度），然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下，单条Query就能利用整机所有CPU。极致的并行处理能力，极大的降低了查询延时

所以，ClickHouse即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多cpu，就不利于同时并发多条查询。所以对于高qps的查询业务，ClickHouse并不是强项

二、数据类型

1、整型

固定长度的整型，包括有符号整型或无符号整型

2、浮点型

Float32、Float64
浮点数计算精度缺失问题：

3、布尔型

没有单独的类型来存储布尔值，可以使用UInt8类型，取值限制为0或1

4、Decimal型

Decimal32(s)相当于Decimal(9-s,s)
Decimal64(s)相当于Decimal(18-s,s)
Decimal128(s)相当于Decimal(38-s,s)

5、字符串

String
字符串可以任意长度的，它可以包含任意的字节集，包含空字节。
2）FixedString(N)
固定长度N的字符串，N必须是严格的正自然数。当服务端读取长度小于N的字符串时候，通过在字符串末尾
添加空字节来达到N字节长度。当服务端读取长度大于N的字符串时候，将返回错误信息

6、枚举类型

包括Enum8和Enum16类型。Enum保存’string’=integer的对应关系
Enum8用’string’=Int8来描述
Enum16用’string’=Int16来描述
创建一个带有一个枚举Enum8(‘hello’ = 1, ‘world’ = 2)类型的列

create table t_enum(
x Enum8('hello' = 1,'world' = 2)
)engine = TinyLog;

这个x列只能存储类型定义中列出的值：‘hello’或’world’
insert into t_enum values (‘hello’),(‘world’),(‘hello’);
如果尝试保存任何其他值，ClickHouse抛出异常

insert into t_enum values('a');

如果需要看到对应行的数值，则必须将Enum值转换为整数类型

select cast(x,'Int8') from t_enum;

7、时间类型

目前ClickHouse有三种时间类型：
● Date接受年-月-日的字符串，比如：2019-12-16
● Datetime接受年-月-日时:分:秒的字符串，比如2019-12-16 20:50:10
● Datetime64 接受年-月-日时:分:秒.亚秒的字符串，比如2019-12-16 20:50:10.66
日期类型用两个字节存储，表示从1970-01-01到当前的日期值
8、数组

Array(T)：由T类型元素组成的数组
T可以是任意类型，包含数组类型。但不推荐使用多维数组，ClickHouse对多维数组的支持有限。例如，不能在MergeTree表中存储多维数组
创建数组方式：
1）使用array函数

select array(1, 2) as x, toTypeName(x);

2）使用方括号

select [1, 2] as x, toTypeName(x);

3、表引擎

1、表引擎的使用

表引擎决定了如何存储表的数据，包括：
● 数据的存储方式和位置，写到哪里以及从哪里读取数据
● 支持哪些查询以及如何支持
● 并发数据访问
● 索引的使用（如果存在）
● 是否可以执行多线程请求
● 数据复制参数

表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数
引擎的名称大小写敏感

2、TinyLog

以列文件的形式保存在磁盘上，不支持索引，没有并发控制。一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用

3、Memory

内存引擎：数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过10G/s）。一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概1亿行）的场景

4、MergeTree

ClickHouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列（Merge Tree）中的其他引擎，支持索引和分区，地位可以相当于innodb之于Mysql

1）、建表语句

create table t_order_mt(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine = MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

2）、插入数据

insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

1、主键可重复
2、根据日期分区，2020-06-01、2020-06-02共两个分区
3、分区内根据id和sku_id排序

3)、partition by 分区（可选）

分区的目的主要是降低扫描的范围，优化查询速度
如果不填，只会使用一个分区
分区后，面对涉及跨分区的查询统计，ClickHouse会以分区为单位并行处理

[root@aliyun ~]# cd /var/lib/clickhouse/
[root@aliyun clickhouse]# ls
access  data  dictionaries_lib  flags  format_schemas  metadata  metadata_dropped  preprocessed_configs  status  store  tmp  user_files

● data：数据存储的路径
● metadata：表结构信息

[root@aliyun clickhouse]# cd metadata
[root@aliyun metadata]# ls
default  default.sql  system  system.sql
[root@aliyun metadata]# cd default
[root@aliyun default]# ls
t_enum.sql  t_order_mt.sql

[root@aliyun clickhouse]# cd data/
[root@aliyun data]# ls
default  system
[root@aliyun data]# cd default/
[root@aliyun default]# ls
t_enum  t_order_mt
[root@aliyun default]# cd t_order_mt/
[root@aliyun t_order_mt]# ls
20200601_1_1_0  20200602_2_2_0  detached  format_version.txt

20200601_1_1_0、20200602_2_2_0共两个分区目录
分区目录命名格式：PartitionId_MinBlockNum_MaxBlockNum_Level，分表代表分区值、最小分区块编号、最大分区块编号、合并层级
PartitionId:
数据分区规则由分区ID决定，分区ID由partition by分区键决定。根据分区键字段类型，ID生成规则可分为：
1、未定义分区键：没有定义partiotion by，默认生成一个目录名为all的数据分区，所有数据均存放在all目录下
2、整型分区键：分区键为整型，直接用该整型值的字符串形式作为分区ID
3、日期类分区键：分区键为日期类型，或者可以转换为日期类型
4、其他类型分区键：String、Float类型等，通过128位的Hash算法娶妻Hash值作为分区ID

MinBlockNum:最小分区块编号，自增类型，从1开始向上递增。每产生一个新的目录分区就向上递增一个数字
MaxBlockNum：最大分区块编号，新创建的分区MinBlockNum等于MaxBlockNum的编号

Level：合并的层级，被合并的次数。合并次数越多，层级值越大

[root@aliyun t_order_mt]# cd 20200601_1_1_0
[root@aliyun 20200601_1_1_0]# ls
checksums.txt  columns.txt  count.txt  data.bin  data.mrk3  default_compression_codec.txt  minmax_create_time.idx  partition.dat  primary.idx

data.bin：数据文件
data.mrk3：标记文件，标记文件在idx索引文件和bin数据文件之间起到了桥梁作用
count.txt：有几条数据
default_compression_codec.txt：默认压缩格式
columns.txt：列的信息
primary.idx：主键索引文件
partition.dat与minmax_[Column].idx：如果使用了分区键，则会额外生成这2个文件，均使用二进制存储。partition.dat保存当前分区下分区表达式最终生成的值；minmax索引用于记录当前分区下分区字段对应原始数据的最小值和最大值。以t_order_mt的20200601分区为例，partition.dat中的值为20200601，minmax索引中保存的值为2020-06-01 12:00:002020-06-01 13:00:00
数据写入与分区合并：

任何一个批次的数据写入都会产生一个临时分区，不会纳入任何一个已有的分区。写入后的某个时刻（大概10-15分钟后），ClickHouse会自动执行合并操作（等不及也可以手动通过optimize执行），把临时分区的数据，合并到已有分区中

optimize table xxxx final;

案例：
执行插入操作

insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查看数据并没有纳入任何分区

手动optimize之后

optimize table t_order_mt final;

再次查询

插入数据合并前：

[root@aliyun t_order_mt]# ls
20200601_1_1_0  20200601_3_3_0  20200602_2_2_0  20200602_4_4_0  detached  format_version.txt

插入数据合并后：

[root@aliyun t_order_mt]# ls
20200601_1_1_0  20200601_1_3_1  20200601_3_3_0  20200602_2_2_0  20200602_2_4_1  20200602_4_4_0  detached  format_version.txt

20200601_1_1_0和20200601_3_3_0分区合并为20200601_1_3_1，在真正合并的时候20200601_1_1_0和20200601_3_3_0分区会被清理

4）、primary key主键（可选）

ClickHouse中的主键，和其他数据库不太一样，**它只提供了数据的一级索引，但是却不是唯一约束。**这就意味着是可以存在相同primary key的数据

主键的设定主要依据是查询语句中的where条件

根据条件通过对主键进行某种形式的二分查找，能够定位到对应的index granularity，避免了全表扫描

index granularity：直接翻译的话就是索引粒度，指在稀疏索引中两个相邻索引对应数据的间隔。ClickHouse中的MergeTree默认是8192。官方不建议修改这个值，除非该列存在大量重复值，比如在一个分区中几万行才有一个不同数据

稀疏索引：

5)、order by(必须) 分区内排序

order by设定了分区内的数据按照哪些字段顺序进行有序保存
order by是MergeTree中唯一一个必填项，甚至比primary key还重要，因为当用户不设置主键的情况，很多处理会依照order by的字段进行处理
要求：主键必须是order by字段的前缀字段
比如order by字段是(id,sku_id)，那么主键必须是id或者(id,sku_id)

6)、二级索引

目前在ClickHouse的官网上二级索引的功能在v20.1.2.4之前是被标注为实验性的，在这个版本之后默认是开启的

1）老版本使用二级索引前需要增加设置
是否允许使用实验性的二级索引（v20.1.2.4开始，这个参数已被删除，默认开启）

set allow_experimental_data_skipping_indices=1;

2）创建测试表

create table t_order_mt2(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime,
INDEX a total_amount TYPE minmax GRANULARITY 5
) engine =MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);

GRANULARITY N是设定二级索引对于一级索引粒度的粒度
minmax索引的聚合信息是在一个index_granularity区间内数据的最小和最大值。以下图为例，假设index_granularity=8192且granularity=3，则数据会按照index_granularity划分为n等份，MergeTree从第0段分区开始，依次获取聚合信息。当获取到第3个分区时（granularity=3），则汇总并会生成第一行minmax索引（前3段minmax汇总后取值为[1, 9]）

3）插入数据

insert into t_order_mt2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

4）对比效果

[root@aliyun ~]# clickhouse-client --send_logs_level=trace <<< 'select * from t_order_mt2 where total_amount > toDecimal32(900., 2)';

日志中可以看到二级索引能够为非主键字段的查询发挥作用
分区下文件skp_idx_a.idx和skp_idx_a.mrk3为跳数索引文件：

7)、数据TTL

MergeTree提供了可以管理数据表或者列的生命周期的功能
1）列级TTL

create table t_order_mt3(
id UInt32,
sku_id String,
total_amount Decimal(16,2) TTL create_time+interval 10 SECOND,
create_time Datetime 
) engine =MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);

TTL的列必须是日志类型且不能为主键
插入数据（请根据实际时间修改数据）

insert into t_order_mt3 values
(106,'sku_001',1000.00,'2021-09-12 20:56:00'),
(107,'sku_002',2000.00,'2021-09-12 20:56:00'),
(110,'sku_003',600.00,'2021-09-12 20:56:00');

手动合并，查看效果：到期后，指定的字段数据归0

2）表级TTL
下面的这条语句是数据会在create_time之后10秒丢失

alter table t_order_mt3 MODIFY TTL create_time + INTERVAL 10 SECOND;

涉及判断的字段必须是Date或者Datetime类型，推荐使用分区的日期字段
能够使用的时间周期：
● SECOND
● MINUTE
● HOUR
● DAY
● WEEK
● MONTH
● QUARTER
● YEAR

ReplacingMergeTree

ReplacingMergeTree是MergeTree的一个变种，它存储特性完全继承MergeTree，只是多了一个去重的功能

去重时机
数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理
2)去重范围
如果表经过了分区，去重只会在分区内部进行去重，不能执行跨分区的去重
所以ReplacingMergeTree能力有限，ReplacingMergeTree适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现
3）案例

create table t_order_rmt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime 
) engine =ReplacingMergeTree(create_time)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);

ReplacingMergeTree()填入的参数为版本字段，重复数据保留版本字段值最大的。如果不填版本字段，默认按照插入顺序保留最后一条

插入数据：

insert into t_order_rmt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

执行查询操作：

4）结论

实际上是使用order by字段作为唯一键进行去重
去重不能跨分区
只有同一批插入（新版本）或合并分区时才会进行去重
认定重复的数据保留，版本字段值最大的
如果版本字段相同则按插入顺序保留最后一笔

6、SummingMergeTree

对于不查询明细，只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree的话，无论是存储空间的开销，还是查询时临时聚合的开销都比较大
ClickHouse为了这种场景，提供了一种能够预聚合的引擎SummingMergeTree

1）案例

create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime 
) engine =SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id );

插入数据

insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

执行查询操作：

2）结论
1、以SummingMergeTree()中指定的列作为汇总数据列。
2、可以填写多列必须数字列，如果不填，以所有非维度列（除了order by的列之外）且为数字列的字段为汇总数据列
3、以order by的列为准，作为维度列
4、其他的列按插入顺序保留第一行
5、不在一个分区的数据不会被聚合
6、只有在同一批次插入（新版本）或分片合并时才会进行聚合

SQL操作

1、Insert

基于与标准SQL（MySQL）基本一致
1）标准

insert into [table_name] values(…),(…)

从表到表的插入

insert into [table_name] select a,b,c from [table_name_2]

2、update和Delete

ClickHouse提供了Delete和Update的能力，这类操作被称为Mutation查询，它可以看做Alter的一种
虽然可以实现修改和删除，但是和一般的OLTP数据库不一样，Mutation语句是一种很重的操作，而且不支持事务
重的原因主要是每次修改或者删除都会导致放弃目标数据的原有分区，重建新分区
所以尽量做批量的变更，不要进行频繁小数据的操作

1)删除操作

alter table t_order_smt delete where sku_id ='sku_001';

2) 修改操作

alter table t_order_smt update total_amount=toDecimal32(2000.00,2) where id=102;

由于操作比较重，所以Mutation语句分两步执行，同步执行的部分其实只是进行新增数据、新增分区和并把旧分区打上逻辑上的失效标记。直到触发分区合并的时候，才会删除旧数据释放磁盘空间，一般不会开放这样的功能给用户，由管理员完成

3）查询操作

ClickHouse基本上与标准SQL差别不大
● 支持子查询
● 支持CTE（Common Table Expression公用表表达式with子句）
● 支持各种JOIN，但是JOIN操作无法使用缓存，所以即使是两次相同的JOIN语句，ClickHouse也会视为两条新SQL
● 不支持自定义函数
● GROUP BY操作增加了with rollup、with cube、with total用来计算小计和总计
插入数据

alter table t_order_mt delete where 1=1;
insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(101,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00'),
(106,'sku_001',1000.00,'2020-06-04 12:00:00'),
(107,'sku_002',以上是关于ClickHouse入门的主要内容，如果未能解决你的问题，请参考以下文章 
 《ClickHouse企业级应用：入门进阶与实战》6 ClickHouse SQL基础
 《ClickHouse企业级应用：入门进阶与实战》6 ClickHouse SQL基础
 [新星计划]一文快速了解ClickHouse 战斗民族的开源搜索引擎（超详细解读+快速入门）
 clickhouse从入门到放弃
 clickhouse从入门到放弃
 clickhouse从入门到放弃