使用cgroup和tc限制带宽

Posted xingmuxin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用cgroup和tc限制带宽相关的知识,希望对你有一定的参考价值。

    cgroup子系统net_cls 可以给 packet 打上 classid 的标签,用于过滤分类,这个classid就是用于标记skb所属的 qdisc class 的。有了这个标签,流量控制器(tc)可以对不同的 cgroup 的 packet 起作用,Netfilter(iptables)也可以基于这个标签有对应的动作。创建一个 net_cls cgroup 对应的是创建一个 net_cls.classid 文件,这个文件初始化为 0。可以写 16 进制的 0xAAAABBBB 到这个文件里面,AAAA 是 major 号,BBBB 是 minor 号。读这个文件返回的是十进制的数字。

如下,创建两个cgroup组,每个组分配不同的handle号,指定不同的带宽。

[email protected]:/sys/fs/cgroup/net_cls# mkdir client
[email protected]:/sys/fs/cgroup/net_cls# cd client/
[email protected]:/sys/fs/cgroup/net_cls/client# l
cgroup.clone_children  cgroup.procs  net_cls.classid  net_prio.ifpriomap  net_prio.prioidx  notify_on_release  tasks
[email protected]:/sys/fs/cgroup/net_cls/client# echo 0x10010 > net_cls.classid
[email protected]:/sys/fs/cgroup/net_cls/client# cat net_cls.classid
65552
[email protected]:/sys/fs/cgroup/net_cls# mkdir server
[email protected]:/sys/fs/cgroup/net_cls# cd server/
[email protected]:/sys/fs/cgroup/net_cls/server# l
cgroup.clone_children  cgroup.procs  net_cls.classid  net_prio.ifpriomap  net_prio.prioidx  notify_on_release  tasks
[email protected]:/sys/fs/cgroup/net_cls/server# echo 0x10020 > net_cls.classid
[email protected]:/sys/fs/cgroup/net_cls/server# cat net_cls.classid
65568

接下来配置tc,写入到cgroup的net_cls.classid中的handle号,要与tc配置中的classid号相同

tc qdisc add dev ens8 root handle 1:0 htb default 1
tc class add dev ens8 parent 1:0 classid 1:1 htb rate 10000Mbit
tc class add dev ens8 parent 1:1 classid 1:10 htb rate 100Mbit ceil 100Mbit
tc class add dev ens8 parent 1:1 classid 1:20 htb rate 1000Mbit ceil 1000Mbit

设置过滤器:

tc filter add dev ens8 parent 1:1 protocol ip prio 10 handle 1:10 cgroup
tc filter add dev ens8 parent 1:1 protocol ip prio 10 handle 1:20 cgroup

接下来使用cgexec工具,来执行对应的程序,我们可以看到流量控制如我们的预期:

cgexec -g net_cls:server python test.py 129.9.123.89
bandwidth 95.9717340903 MB/s

cgexec -g net_cls:client python test.py 129.9.123.89
bandwidth 11.3290806068 MB/s

原理分析待续

 

以上是关于使用cgroup和tc限制带宽的主要内容,如果未能解决你的问题,请参考以下文章

docker——docker资源控制管理

yarn 容器资源隔离和docker容器资源隔离实现原理

docker私有仓库registry和cgroup资源限制

docker私有仓库registry和cgroup资源限制

docker私有仓库registry和cgroup资源限制

Docker——Cgroup资源限制