clickhouse-S3

Posted 2023-04-02

参考技术A

https://clickhouse.tech/docs/en/sql-reference/table-functions/s3/
https://clickhouse.tech/docs/en/engines/table-engines/integrations/s3/
https://aws.amazon.com/cn/blogs/china/explore-three-ways-to-combine-clickhouse-and-amazon-s3/

clickhouse与s3之间的关系，主要有三种，s3函数，s3表，disks3存储策略，应用场景很多，比如 数据备份，数据导出，数据冷热分层，存算分离等 ，非常值得学习和使用。

需要修改config.xml配置

1，判断证书文件是否存在 file /etc/pki/tls/certs/ca-bundle.crt
2，添加 <caConfig>/etc/pki/tls/certs/ca-bundle.crt</caConfig>配置。

注意 FUNCTION 关键字，否则会写失败
通过s3查看工具，可以看到csv文件成功写入了s3

通过s3查看工具，可以看到csv文件成功写入了s3。

可以看到

disks3主要用户存储策略，一般使用在数据存储分层，冷热数据分离等场景。

在配置文件cdnlog_storage.xml中 添加如下配置

重启服务
sudo systemctl restart clickhouse-server

1，新建表&写入数据

2，查看结果
数据写入成功后，可以发现 和本地存储使用上无多大的影响，但是读写速度会慢很多 。

S3 大大提高了clickhouse存储能力，但是需要注意的是会减少数据的加载和写入速度。社区也思考使用S3做存算分离的功能。clickhouse的s3功能未来肯定会越来越完善。