Cassandra集群管理-删除异常节点

Posted 2022-04-06

Cassandra集群管理-删除异常节点

故障模拟节点：172.20.101.166，模拟节点系统直接损坏，所有数据丢失。

注意:

本文档只是体系文档中的一部分，前面文档信息详见：
测试准备+下线正常节点：https://blog.51cto.com/michaelkang/2419518
节点异常重启：https://blog.51cto.com/michaelkang/2419524
添加新节点：https://blog.51cto.com/michaelkang/2419521
删除异常节点：https://blog.51cto.com/michaelkang/2419525

查看集群其它节点日志

日志打印内容与节点异常重启基本一致。

查看异常节点

[[email protected] ~]# nodetool describecluster

Cluster Information:
        Name: pttest
        Snitch: org.apache.cassandra.locator.GossipingPropertyFileSnitch
        DynamicEndPointSnitch: enabled
        Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
        Schema versions:
                cfce5a85-19c8-327a-ab19-e1faae2358f7: [172.20.101.164, 172.20.101.165, 172.20.101.167, 172.20.101.160, 172.20.101.157]

                UNREACHABLE: [172.20.101.166]

处理办法

1：在一个正常节点上执行nodetool status 命令，获取宕机节点的id

[[email protected] ~]# nodetool status
Datacenter: dc1

Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
.......

异常节点状态为DN

DN 172.20.101.166 76.83 MiB 256 ? 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb rack1
UN 172.20.101.167 71.78 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.31 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1

2：确认异常节点是否为种子节点，如果死亡节点是种子节点，请在每个节点上更改群集的种子节点配置：

在每个节点的cassandra.yaml文件中，从seed-provider 属性的- seeds列表中删除无效节点的IP地址。如果群集需要新的种子节点来替换死亡的种子节点，请将新节点的IP地址添加到- seeds列表中。需要重启节点服务。

3：如果是普通节点执行：nodetool removenode host-id移除节点

nodetool removenode 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb

任务执行成功后，集群会对数据副本进行检测，恢复必要的副本。

### 验证节点删除
异常节点已经消失、节点成功删除。

[[email protected] ~]# nodetool status
Datacenter: dc1

Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 172.20.101.164 68.2 MiB 256 ? dcbbad83-fe7c-4580-ade7-aa763b8d2c40 rack1
UN 172.20.101.165 59.06 MiB 256 ? b985de23-6ad1-40b9-a252-dbaeb5d4cb12 rack1
UN 172.20.101.167 71.8 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.32 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55.06 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1