ClickHouse集群配置及分布式简单使用

Posted 2023-04-02 IT小海豚

分布式引擎 | ClickHouse Docs

ClickHouse集群（Cluster）

在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个ClickHouse集群可以包含多个数据库（Database）对象。

副本配置（Edition）ClickHouse集群包含如下副本。

• 双副本版：每个节点包含两个副本，某个副本服务不可用的时候，同一分片的另一个副本还可以继续服务。
• 单副本版：每个节点只有1个副本，该副本服务不可用时，会导致整个集群不可用，需要等待此副本完全恢复服务状态，集群才能继续提供稳定服务。

说明

• 双副本版的资源以及对应的购买成本都是单副本版的2倍。
• 由于底层云盘提供高可靠保证，即便是单副本版也能确保数据不会丢失。

分片（Shard）

在超大规模海量数据处理场景下，单台服务器的存储、计算资源会成为瓶颈。为了进一步提高效率，云数据库ClickHouse将海量数据分散存储到多台服务器上，每台服务器只存储和处理海量数据的一部分，在这种架构下，每台服务器被称为一个分片（Shard）。

副本（Replica）

为了在异常情况下保证数据的安全性和服务的高可用性，云数据库ClickHouse提供了副本机制，将单台服务器的数据冗余存储在2台或多台服务器上。

表（Table）

表是数据的组织形式，由多行、多列构成。云数据库ClickHouse的表从数据分布上，可以分为本地表和分布式表两种类型。

类型	说明	区别
本地表（Local Table）	数据只会存储在当前写入的节点上，不会被分散到多台服务器上。	本地表的写入和查询，受限于单台服务器的存储、计算资源，不具备横向拓展能力。 分布式表的写入和查询，可以利用多台服务器的存储、计算资源，具有较好的横向拓展能力。
分布式表（Distributed Table）	本地表的集合，它将多个本地表抽象为一张统一的表，对外提供写入、查询功能。当写入分布式表时，数据会被自动分发到集合中的各个本地表中；当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终结果汇总后返回。

1.clickhouse集群配置

• Distributed表引擎主要是用于分布式，自身不存储任何数据，数据都分散存储在某一个

分片上，能够自动路由数据至集群中的各个节点，需要和其他数据表引擎一起协同工作

• 一张分布式表底层会对应多个分片数据表，由具体的分片表存储数据，分布式表与分片表是

一对多的关系

clickhouse的集群依赖zookeeper 因此在配置集群时需要启动zookeeper程序。

这里使用了两台主机 10.8.5.232 ens1 和10.8.5.233ens2

以下配置两台主机均需修改

1.配置metrika.xml

metrika.xml 主要是用来服务于集群搭建的。它里面是关于zookeeper、shard以及replica的配置。

metrika.xml文件需要自行创建（这里创建路径为/etc/clickhouse-server/metrika.xml），每台分布式数据库服务器都需要配置下面示例：

<yandex>
<!-- zookeeper-servers 配置  -->   
<zookeeper-servers>
    <node index="1">
        <host>10.8.5.232</host>
        <port>2181</port>
    </node>

</zookeeper-servers>
 
  <!-- 集群配置  -->   
<clickhouse_remote_servers>
    <!-- 集群名称，可以修改 -->
    <cluster_2shards_1replicas>
        <!-- 配置2个分片，每个分片对应一台机器-->
        <shard>
            <replica>
                <!-- 10.8.5.232 这是本机ip 因此可以不配置数据库用户名和密码-->
                <host>10.8.5.232</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <replica>
                <!-- 配置数据库用户名和密码 这里可以配置一个专为集群使用的用户名和密码-->
                <host>10.8.5.233</host>
                <port>9000</port>
        <user>root</user>
        <password>spPXilAvRFBNguSm</password>
            </replica>
        </shard>
    </cluster_2shards_1replicas>
</clickhouse_remote_servers>

 
  <!-- 本机绑定地址 -->
 
  <networks>
    <ip>::/0</ip>
  </networks>
 
 <!--这里需要注意ens2主机配置需要改成 02 和 ens2 -->
 
  <macros>
    <shard_name>01</shard_name>
    <replica_name>ens1</replica_name>
  </macros>

</yandex>

2.配置config.xml

该配置文件是存在路径/etc/clickhouse-server中，需要增加以下配置

<!--这里需要注意 <include_from> 需要写入正确的metrika.xml路径 --> <include_from>/etc/clickhouse-server/metrika.xml</include_from> 
<remote_servers incl="clickhouse_remote_servers"/> 
<macros incl="macros" optional="true" /> 
<zookeeper incl="zookeeper-servers" optional="true" />

3.重启clickhouse数据库

systemctl restart clickhouse-server

4.clickhouse查询集群

select * from system.clusters;

5.clickhouse集群操作

/*【选一个节点】创建好本地表后，在1个节点创建，会在其他节点都存在 cluster_2shards_1replicas 集群名字 */
create table ENS3.zwt_order on cluster cluster_2shards_1replicas (id Int8,name String) engine =MergeTree order by id;
/*【选一个节点】创建分布式表名 zwt_order_all，在1个节点创建，会在其他节点都存在 cluster_2shards_1replicas集群名 ENS3数据库名 zwt_order表名 */

CREATE TABLE IF NOT EXISTS ENS3.zwt_order_all ON CLUSTER cluster_2shards_1replicas as ENS3.zwt_order ENGINE = Distributed(cluster_2shards_1replicas,ENS3, zwt_order,hiveHash(id)); 

/*【插入数据到分布式表 会根据策略存储在不同节点的本地表中】 */
INSERT INTO ENS3.zwt_order_all 
(id,name) VALUES (14,'5'), (11,'fgd'), (12,'fdsr'); 

/*【任意节点查询-分布式，全部数据】*/

 select * from ENS3.user_cluster;

写入数据​

向集群写数据的方法有两种：

一，自已指定要将哪些数据写入哪些服务器，并直接在每个分片上执行写入。换句话说，在分布式表上«查询»，在数据表上 INSERT。 这是最灵活的解决方案 – 你可以使用任何分片方案，对于复杂业务特性的需求，这可能是非常重要的。 这也是最佳解决方案，因为数据可以完全独立地写入不同的分片。

二，在分布式表上执行 INSERT。在这种情况下，分布式表会跨服务器分发插入数据。 为了写入分布式表，必须要配置分片键（最后一个参数）。当然，如果只有一个分片，则写操作在没有分片键的情况下也能工作，因为这种情况下分片键没有意义。

每个分片都可以在配置文件中定义权重。默认情况下，权重等于1。数据依据分片权重按比例分发到分片上。例如，如果有两个分片，第一个分片的权重是9，而第二个分片的权重是10，则发送 9 / 19 的行到第一个分片， 10 / 19 的行到第二个分片。

1、分布式表在写入的时候，是谁写入谁负责将分片发送给其他分片服务器，此实操设计中，当数据插入进某台服务器上时，该服务器负责将数据分发到其他分片服务器，如下图：

通过上图我们了解到，如果直接insert into 分布式表会造成某台节点的压力过大的问题，故官方建议通过外部分布式引擎直接写入到本地表中，分摊压力

ClickHouse集群部署

参考技术A 下文以 常见ClickHouse集群部署架构 中 方案四 的部署架构为例。

准备Docker环境：

其中，主配置文件 conf/zoo.cfg的关键配置项：

ClickHouse最重要的配置有clickhouse_remote_servers、zookeeper和macros。

主配置文件，设置成可加载其他相关配置文件。

用于配置集群、数据副本、Zookeeper等。如果使用 方案一 ，此处配置需修改。

宏定义，后面创建本地表时会引用到。比如：

查看数据表：

主副本的分布表：

副副本的分布表：

node21节点主副本的本地表：

node23节点副副本的本地表：