如何解决TCP BBR的RTT不公平性问题

Posted 2021-09-05 dog250

首先看下BBR的RTT不公平是什么。

设$\lambda (t)$为时间$t$时刻一条BBR流的测量速率，根据范雅各布森管道Bottleneck通量原理，它的值等于$\frac{BDP}{RTT}$：

$\lambda (t)=\frac{BDP}{RTT}$

对于需要拥塞控制强干预的流而言，忽略次要的主机处理时延，RTT由传播时延和排队时延组成，从而有：

$\lambda (t)=\frac{BDP}{RTprop+Dela{y}_{queuing}}$

如果该流完全按BBR的行为探测带宽，那么$\lambda (t)$则是该流在上一轮测量带宽基础上以1.25倍增益up probe的结果，该up probe过程发送的数据总量即BDP，则：

$\lambda (t)=\frac{1.25\times RTprop\times \lambda (t-8RTprop)}{RTprop+Dela{y}_{queuing}}$

记$RTprop$为$T$，$Dela{y}_{queuing}$为$D$，则有：

$\lambda (t)=\frac{1.25T}{T+D}\lambda (t-8T)$

对于所有共享同一Bottleneck queue的流，其排队时延$D$是一致的。注意，有效增益系数是小于1.25的，因为一旦产生了queuing，实际带宽不可能按照1.25倍速来增益，而是小于1.25倍速，这是有效增益系数分母中$D$引入的。

于是可以从测量带宽$\lambda (t)$的有效增益系数$\frac{1.25T}{T+D}$看出BBR的RTT不公平性：

• RTT越大，有效增益系数越大，抢占能力越强。

原生BBR可以天然对抗这种RTT不公平性，BBR在ProbeBW状态的up probe探测周期为8 rounds：

static const int bbr_pacing_gain[] = {
	BBR_UNIT * 5 / 4,	/* probe for more available bw */
	BBR_UNIT * 3 / 4,	/* drain queue and/or yield bw to other flows */
	BBR_UNIT, BBR_UNIT, BBR_UNIT,	/* cruise at 1.0*bw to utilize pipe, */
	BBR_UNIT, BBR_UNIT, BBR_UNIT	/* without creating excess queue... */
};

很明显，RTT越大，8 rounds周期就越久，从而让RTT小的流在相同时间内up probe探测更加频繁。这在一定程度上促进了不同RTT流之间抢占带宽的公平性。

然而这解决不了另外的问题。

在8 rounds周期的up probe机制下，相对较大RTT的流反应太慢了。

比如，共享同一bottleneck的其它流退出，由于RTT太大，执行完6 rounds steady phase的时间太久，在下一次up probe之前，腾出来的带宽被浪费了。

此外，如果在steady phase，一个RTT很大的流由于其它流退出排空了queue，从而测得了RTprop，此时它应该尽快up probe，而不是等到up probe phase的到来。

总体而言，原生BBR从增益系数上看，对相对较小RTT的流抢占带宽不利，但是从up probe周期上看又对相对较大RTT的流灵敏反应不利，因此这里有一些魔改的空间。

把公平性体现在增益系数上，为现有增益系数乘上一个RTT的减函数即可，以固定的绝对时间周期进行up probe，抹去RTT的影响，这就皆大欢喜了。这非常类似BIC到CUBIC之间的进化，CUBIC的增窗函数中没有RTT因子，因此它也是以绝对时间为参照的。

寻找一个RTT的减函数作为系数因子很容易，RTT取倒数即可，但问题是要确定一个物理意义。

理想公平情况下，RTT不同的两条流的带宽相同，它们的BDP之比就是RTT之比，设${\alpha }_i$为增益系数因子，等式如下：

$\frac{{\alpha }_1{T}_1{\lambda }_1(t)}{{\alpha }_2{T}_2{\lambda }_2(t)}=\frac{T_1+D}{T_2+D}$

如果${\lambda }_1={\lambda }_2$，那么：

$\frac{{\alpha }_1{T}_1}{{\alpha }_2{T}_2}=\frac{T_1+D}{T_2+D}$

这下我们就有了$\alpha$的通项：

$\alpha =g(T)=\frac{T+D}{T}=1+\frac{D}{T}$

显然，这是一个大于1的以RTprop $T$为自变量的减函数，注意到$D$就是排队时延，它等于一条流的实际RTT和其RTprop的差，因此：

$\alpha =\frac{T_i+sRTT-T_i}{T_i}=\frac{sRTT}{T_i}$

其中，$sRTT$代表实际测得的RTT，其值可以取即时RTT移动指数平均过的srtt。

OK，现在我们就有了一个RTT公平的增益系数为准的迭代公式：

$\lambda (t)=T+D$

以上是关于如何解决TCP BBR的RTT不公平性问题的主要内容，如果未能解决你的问题，请参考以下文章

拥塞算法

基于RTT梯度的TCP CDG拥塞控制算法

有趣的TCP BBR ProbeRTT行为点滴

BBR脆弱的公平性

TCP拥塞控制及BBR原理分析

填满TCP长肥管道