使用clickhouse-backup工具备份clickhouse数据库

Posted 2023-03-03 gsls200808

工具官网：https://github.com/AlexAkulov/clickhouse-backup/

dockerhub工具官网：https://hub.docker.com/r/alexakulov/clickhouse-backup

注意：这个工具只支持MergeTree 系列表引擎

一、clickhouse在容器外的备份和恢复

若clickhouse装在容器外，如宿主机里

下载

wget https://github.com/AlexAkulov/clickhouse-backup/releases/download/v2.1.3/clickhouse-backup-linux-amd64.tar.gz
mkdir tmp
tar -zxvf clickhouse-backup-linux-amd64.tar.gz -C ./tmp
cd tmp/build/linux/amd64
cp clickhouse-backup /usr/local/bin
clickhouse-backup -v

创建配置文件

mkdir -p /etc/clickhouse-backup/
cd /etc/clickhouse-backup/

创建config.yml内容如下

general:
  remote_storage: none
clickhouse:
  username: default
  password: ""
  host: localhost
  port: 9000

创建备份

clickhouse-backup create

默认备份目录在/var/lib/clickhouse/backup/目录下，默认创建的备份是以时间戳形式的，每个备份包含两个目录,分别是

metadata目录: 包含重新创建所需的DDL SQL

shadow目录: 包含作为ALTER TABLE ... FREEZE操作结果的数据

若缺少shadow目录，看你的程序是否能访问clickhouse数据库的/var/lib/clickhouse/目录。

查看备份列表

clickhouse-backup list

恢复备份

clickhouse-backup restore 2020-07-06T20-13-02

二、clickhouse在容器内的备份和恢复

1.方式一、映射容器目录直接拷贝

需要映射的目录如下

     volumes:
         - "$PWD/clickhouse/data:/var/lib/clickhouse"
         - "$PWD/clickhouse/log:/var/log/clickhouse-server"
         - "$PWD/clickhouse/conf/config.xml:/etc/clickhouse-server/config.xml"
         - "$PWD/clickhouse/conf/users.xml:/etc/clickhouse-server/users.xml"

直接拷贝对于目录即可

2.方式二、备份到clickhouse的容器目录

备份命令

docker run -u $(id -u root) --rm -it --network docker-compose_default --volumes-from clickhouse \\
   -e CLICKHOUSE_HOST="clickhouse" \\
   -e CLICKHOUSE_USERNAME="default" \\
   -e CLICKHOUSE_PASSWORD="" \\
   alexakulov/clickhouse-backup create

默认备份到clickhouse容器里的/var/lib/clickhouse/backup/目录下

其中network 可以使用docker inspect [容器名] 查看所使用的网络名，CLICKHOUSE_HOST 使用容器名或者外部ip，

恢复命令如下

docker run -u $(id -u root) --rm -it --network docker-compose_default --volumes-from clickhouse \\
   -e CLICKHOUSE_HOST="clickhouse" \\
   -e CLICKHOUSE_USERNAME="default" \\
   -e CLICKHOUSE_PASSWORD="" \\
   alexakulov/clickhouse-backup restore 2020-07-06T20-13-02

3.方式三、备份到clickhouse到远程sftp服务器

这个比较灵活，远程服务器开了ssh就行

备份命令

docker run -u $(id -u root) --rm -it --network docker-compose_default --volumes-from clickhouse \\
   -e CLICKHOUSE_HOST="clickhouse" \\
   -e CLICKHOUSE_USERNAME="default" \\
   -e CLICKHOUSE_PASSWORD="" \\
   -e REMOTE_STORAGE="sftp" \\
   -e SFTP_ADDRESS="192.168.3.51" \\
   -e SFTP_USERNAME="root" \\
   -e SFTP_PASSWORD="root" \\
   -e SFTP_PATH="/root/clickhouse/backup" \\
   alexakulov/clickhouse-backup create_remote

远程服务器需要创建/root/clickhouse/backup目录

恢复命令如下

docker run -u $(id -u root) --rm -it --network docker-compose_default --volumes-from clickhouse \\
   -e CLICKHOUSE_HOST="clickhouse" \\
   -e CLICKHOUSE_USERNAME="default" \\
   -e CLICKHOUSE_PASSWORD="" \\
   -e REMOTE_STORAGE="sftp" \\
   -e SFTP_ADDRESS="192.168.3.51" \\
   -e SFTP_USERNAME="root" \\
   -e SFTP_PASSWORD="root" \\
   -e SFTP_PATH="/root/clickhouse/backup" \\
   alexakulov/clickhouse-backup restore_remote 2020-07-06T20-13-02