混沌工程 Chaosd

Posted 清风明月li

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了混沌工程 Chaosd相关的知识,希望对你有一定的参考价值。

Chaosd 组件简介

Chaosd 是 Chaos Mesh 提供的一款混沌工程测试工具(需要单独下载和部署),用于在物理机环境上注入故障,并提供故障恢复功能。

Chaosd 具有以下核心优势:

  • 易用性强:输入简单的 Chaosd 命令即可创建混沌实验,并对实验进行管理。
  • 故障类型丰富:在物理机的不同层次、不同类型上都提供了故障注入的功能,包括进程、网络、压力、磁盘、主机等,且更多的功能在不断扩展中。
  • 支持多种模式:Chaosd 既可作为命令行工具使用,也可以作为服务使用,满足不同场景的使用需求。

支持故障类型

你可以使用 Chaosd 模拟以下故障类型:

  • 进程:对进程进行故障注入,支持进程的 kill、stop 等操作。
  • 网络:对物理机的网络进行故障注入,支持增加网络延迟、丢包、损坏包等操作。
  • 压力:对物理机的 CPU 或内存注入压力。
  • 磁盘:对物理机的磁盘进行故障注入,支持增加读写磁盘负载、填充磁盘等操作。
  • 主机:对物理机本身进行故障注入,支持关机等操作。

对于每种故障类型的详细介绍和使用方式,请参考对应的说明文档。

1、运行环境

查询如下:

[root@k8s-master ~]# ldd --version
ldd (GNU libc) 2.17
Copyright (C) 2012 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

2、下载和部署

1、将要下载的Chaosd版本设置为环境变量,例如:v1.1.1
export CHAOSD_VERSION=latest

如果要查看所有已发布的 Chaosd 版本,请参阅 releases(https://github.com/chaos-mesh/chaosd/releases) 
如果要下载最新的非稳定版本,则使用 latest:

2、下载Chaosd
curl -fsSL -o chaosd-$CHAOSD_VERSION-linux-amd64.tar.gz https://mirrors.chaos-mesh.org/chaosd-$CHAOSD_VERSION-linux-amd64.tar.gz

3、解压 Chaosd 文件并转移到 /usr/local 目录下:
tar zxvf chaosd-$CHAOSD_VERSION-linux-amd64.tar.gz && sudo mv chaosd-$CHAOSD_VERSION-linux-amd64 /usr/local/

4、将 Chaosd 目录加到环境变量 PATH 中:
export PATH=/usr/local/chaosd-$CHAOSD_VERSION-linux-amd64:$PATH

3、运行模式

3.1、命令行模式

直接运行命令来创建、管理实验

1、创建实验
[root@k8s-master ~]# chaosd attack process kill --process  sleep -s 15
Attack process sleep successfully, uid: 6eaf29c0-dbf0-4612-bbcf-bcab3be1e706
2、恢复实验
[root@k8s-master ~]# chaosd recover 6eaf29c0-dbf0-4612-bbcf-bcab3be1e706
[2022/04/07 11:25:15.995 +08:00] [WARN] [recover.go:75] ["error.core.non_recoverable_attack: only SIGSTOP process attack and process attack with the recover-cmd are supported to recover"] [uid=6eaf29c0-dbf0-4612-bbcf-bcab3be1e706] [kind=process]
Recover 6eaf29c0-dbf0-4612-bbcf-bcab3be1e706 successfully

3.2、服务模式

让chaosd在后台运行,通过发送http请求的方式来创建、管理实验。

1、启动服务
[root@k8s-master ~]# chaosd server --port 12345
2、创建实验
[root@k8s-master ~]# curl -XPOST 127.0.0.1:12345/api/attack/stress -H "Content-Type:application/json" -d "action":"cpu", "load": 100, "wo
"status":200,"message":"attack successfully","uid":"86f18a92-7636-451e-9ab0-b3fc0c07a0ef"
3、删除实验
[root@k8s-master ~]# curl -X DELETE "127.0.0.1:12345/api/attack/6eaf29c0-dbf0-4612-bbcf-bcab3be1e706"
"status":200,"message":"attack recover successfully","uid":"6eaf29c0-dbf0-4612-bbcf-bcab3be1e706"

4、使用示例

4.1、进程

具体文档请参考https://chaos-mesh.org/zh/docs/simulate-process-chaos-in-physical-nodes/

1、启动测试进程
[root@k8s-master ~]# sleep 1000
2、创建kill实验
[root@k8s-master ~]# chaosd attack process kill --process sleep -s 15
Attack process sleep successfully, uid: c820427d-6035-4644-9672-06cfb28d7ef4
###第一个创建的窗口
[root@k8s-master ~]# sleep 1000
Terminated
3、恢复实验:
[root@k8s-master ~]# chaosd recover c820427d-6035-4644-9672-06cfb28d7ef4
[2022/04/07 11:52:40.087 +08:00] [WARN] [recover.go:75] ["error.core.non_recoverable_attack: only SIGSTOP process attack and process attack with the recover-cmd are supported to recover"] [uid=c820427d-6035-4644-9672-06cfb28d7ef4] [kind=process]
Recover c820427d-6035-4644-9672-06cfb28d7ef4 successfully

4、创建stop实验,通过指定uid
[root@k8s-master ~]# chaosd attack process stop --process sleep --uid 12345
Attack process sleep successfully, uid: 12345
 ##查看进程
[root@k8s-master ~]# ps -aux|grep sleep
root     27457  0.0  0.0 108064   668 pts/2    T    12:02   0:00 sleep 1000
root     27918  0.0  0.0 108064   736 pts/2    T    12:03   0:00 sleep 1000
root     28622  0.0  0.0 112820  2128 pts/1    S+   12:04   0:00 grep --color=auto sleep
####恢复实验
[root@k8s-master ~]# chaosd recover 12345
Recover 12345 successfully

###杀进程
[root@k8s-master ~]# ps -ef|grep sleep
root     30841  4545  0 12:08 pts/2    00:00:00 sleep 1000
root     31841  4545  0 12:10 pts/2    00:00:00 grep --color=auto sleep
[root@k8s-master ~]# chaosd attack process  kill --process  30841
Attack process 30841 successfully, uid: 3c63fcdd-7881-4623-b202-4727b0e1c4f4

4.2、网络

通过命令行的方式:
1、搜索网络相关的任务
chaosd search --kind network --status success

2、丢包演示
chaosd attack network loss --correlation 10 --percent 50 -H baidu.com -d eth0
或
chaosd  attack network loss -d eth0 -i 172.16.5.146 --percent 60

#ping baidu.com
[root@k8s-master ~]# ping baidu.com
PING baidu.com (220.181.38.251) 56(84) bytes of data.
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=2 ttl=48 time=5.41 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=3 ttl=48 time=6.04 ms
64 bytes from 220.181.38.251 (220.181.38.251): 
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=37 ttl=48 time=5.31 ms
--- baidu.com ping statistics ---
37 packets transmitted, 14 received, 62% packet loss, time 36576ms
rtt min/avg/max/mdev = 5.271/5.413/6.046/0.207 ms
##查看丢失60%左右的包,把实验recover
chaosd recover b5f0491d-96e0-4474-912e-d5b6b307e181

2、延迟
##延迟2s
 sudo chaosd attack network delay -H baidu.com --device eth0 --latency 2s
##ping baidu.com
[root@k8s-master ~]# ping baidu.com
PING baidu.com (220.181.38.251) 56(84) bytes of data.
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=1 ttl=48 time=2005 ms

3、重复包
sudo chaosd attack network duplicate -H baidu.com --device eth0 --percent 50
##ping baidu.com
[root@k8s-master ~]# ping baidu.com
PING baidu.com (220.181.38.251) 56(84) bytes of data.
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=4 ttl=48 time=5.35 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=4 ttl=48 time=5.35 ms (DUP!)

4、损坏包
sudo chaosd attack network corrupt  -H baidu.com --device eth0 --percent 100

5、分区
sudo chaosd attack network partition -H baidu.com -d eth0 --direction from
#direction:指定分区的方向,对来自/发送到 hostname 指定的主机或者 ip 指定的地址的数据包进行分区    

6、DNS
 chaosd attack network dns -i 1.1.1.1 -d baidu.com
##ping baidu.com
[root@k8s-master ~]# ping baidu.com
PING baidu.com (1.1.1.1) 56(84) bytes of data.
64 bytes from baidu.com (1.1.1.1): icmp_seq=1 ttl=48 time=53.5 ms

#备注
-H 只影响到指定的域名
-i:只影响到指定的IP地址

常见问题:
1. correlation 和 jitter 是什么意思?
correlation 表示与前一次数据包的相关性
jitter 表示延迟时间的变化范围
2. 如何对一批 ip 地址生效?
设置 ip 为网段,例如:192.168.1.1/24
3. 恢复实验后网络仍然有问题?
查看是否有其他网络实验;根据日志中的命令排查。

4.3、主机

Chaosd 支持模拟主机关机故障 。文档:https://chaos-mesh.org/zh/docs/next/simulate-host-console-in-physical-nodes/

#慎用
chaosd attack host shutdown 

4.4、压力

1、模拟CPU压力命令
chaosd attack stress cpu --load 90 --workers 4
或
chaosd attack stress cpu -l 100 -w 5
通过top进行查看

2、模拟内存
chaosd attack stress mem --size 1GB
通过free -h查看

4.5、JVM

文档:https://github.com/chaos-mesh/website-zh/blob/main/docs/simulate-jvm-application-chaos-in-physical-nodes.md

Chaosd 通过 Byteman 模拟 JVM 应用故障,主要支持以下几种故障类型:

  • 抛出自定义异常
  • 触发垃圾回收
  • 增加方法延迟
  • 修改方法返回值
  • 设置 Byteman 配置文件触发故障
  • 增加 JVM 压力
1、启动测试进程
代码:https://github.com/WangXiangUSTC/byteman-example/blob/main/example.helloworld/HelloWorld/Main.java
2、下载和启动
[root@k8s-master chaos-mesh]# wget https://github.com/WangXiangUSTC/byteman-example/blob/main/example.helloworld/HelloWorld/Main.java
1、修改返回值
./chaosd attack jvm submit return --class Main --method getnum --port 9288  --value 123
2、增加延迟
./chaosd attack jvm submit latency  --class Main --method sayhello --latency 5000
3、抛出异常
chaosd attack jvm submit exception -c Main -m sayhello --exception 
4、增加压力
./chaosd attack jvm submit stress --cpu-count 2

4.5、磁盘

1、写负载
chaosd attack disk add-payload write --path /tmp/temp --size 100MB
2、读负载
chaosd attack disk add-payload read --path /tmp/temp  --size 100MB
3、填充磁盘
chaosd attack disk fill -p /tmp/123 -s 500MB --fallocate=false

4,6、时间

chaosd attack clock -p $PID -t 11s

5、查找和恢复实验

[root@k8s-master chaos-mesh]# chaosd search -h
Search chaos attack, you can search attacks through the uid or the state of the attack

Usage:
  chaosd search UID [flags]

Flags:
  -A, --all             list all chaos attacks
      --asc             order by CreateTime, default value is false that means order by CreateTime desc
  -h, --help            help for search
  -k, --kind string     attack kind, supported value: network, process, stress, disk, host, jvm
  -l, --limit uint32    limit the count of attacks
  -o, --offset uint32   starting to search attacks from offset
  -s, --status string   attack status, supported value: created, success, error, destroyed, revoked

Global Flags:
      --log-level string   the log level of chaosd. The value can be debug, info, warn and error
运行以下命令可查看搜索命令 (search) 所支持的配置:
1、查看网络任务
chaosd search --kind network --status success
2、查找实验
chaosd search --kind process --asc --limit 2 -o 1 --status destoryed

以上是关于混沌工程 Chaosd的主要内容,如果未能解决你的问题,请参考以下文章

ChaosBlade:从混沌工程实验工具到混沌工程平台

混沌工程,了解一下

架构师口中的混沌工程,究竟用来解决什么问题

声网的混沌工程实践

Chaos Mesh® X GitHub Actions —— 把混沌工程集成到你的 CI 中

混沌工程实践指南——如何实施一次"完美"的冷启动