CGroup系列十三RDMA子系统

Posted 2022-04-11 高桐@BILL

写在前面

RDMA子系统 Remote Direct Memory Access Controller，限制进程对RDMA/IB资源的使用。如下图，根层级下默认不可见。

一、参数配置

1.1 rdma.max

设置控制组对RDMA/IB设备当前配置的资源访问上限。

1.2 rdma.current

报告当前控制组访问RDMA/IB设备情况（只读）。

二、使用案例

以mlx4和ocrdma为例，如下：

2.1 设置设备使用限制

echo mlx4_0 hca_handle=2 hca_object=2000 > /sys/fs/cgroup/rdma/1/rdma.max
echo ocrdma1 hca_handle=3 > /sys/fs/cgroup/rdma/2/rdma.max

2.2 查询资源限制

cat /sys/fs/cgroup/rdma/2/rdma.max
#Output:
mlx4_0 hca_handle=2 hca_object=2000
ocrdma1 hca_handle=3 hca_object=max

2.3 查询当前使用情况

cat /sys/fs/cgroup/rdma/2/rdma.current
#Output:
mlx4_0 hca_handle=1 hca_object=20
ocrdma1 hca_handle=1 hca_object=23

2.4 删除资源限制

echo mlx4_0 hca_handle=max hca_object=max > /sys/fs/cgroup/rdma/1/rdma.max