Spring Cloud之Ribben:负载均衡实现原理

Posted 2023-03-18

参考技术A API网关的请求转发等内容实际上是通过Ribben来实现的。

Spring Cloud 实现负载均衡通过在RestTemplates  增加@LoadBalanced注解，将Rest请求交给Ribben去管理。

Spring Cloud实现负载主要是用过管理Rest请求来实现，故项目中必须都使用Rest分格的请求.

Ribben的配置类LoadBalanceAutoConfiguration主要实现的功能：

    1.创建了一个LoadBalanceInterceptor的Bean，用于实现对客户端发起的请求就行拦，是实现客户端的负载均衡。

    2.创建了一个LoadBalanceCustomizer的Bean  用于给RestTemplate增加LoadBalanceInterceptor拦截器。

    3.维护了一个被@LoadBalance注释的RestTemplate的对象列表，并在这里进行初始化，通过调用LoadBalanceCustomizer的实例来给需要客户端负载均衡的TestTemplate增加LoadBalanceInterceptor拦截器。

    4、LoadBalanceInterceptor拦截去会根据传入的ServiceID去获取具体的实例，拦截去实现的各个方法，

    addServices :向负载均衡器维护的列表中添加服务实例,添加服务的时候会将新加入的实例和之前的所有实例加入List中

    chooseServices：通过Rule（线性轮训、按权重负载、按流量负载）和 Ping来选择具体的服务实例启动的ping的定时任务默10秒

    markServiecsDowe:标示异常的服务实例

    getReachableService:获取当前正常的服务实例

    getAllServices:获取所有维护的服务实例

    5.Ribben 的服务实例由Eureka的服务发现来获取，Ribben会将Eureka中注册章的服务转换成自己的服务实例信息。（请求了Eureka的获取服务列表）

    6.Ribben 的服务更新器主要通过DynamicServiceListLoadBalancer 来实现

    7.Ribben实服务实例和真实地址之间转换的原理，从Netfix的service中获取host和port 如果service中的host和port中的地址和真实地中中的一直则直接返回真实地址，如果不一致则使用service中的host和port结合真实地址中的相关参数，拼接成新的地址。

在choose的时候 使用一个所有服务列表（allList)数中取随机数去可用服务（upList）中取可用的服务，如果取到的服务不可用或者无此服务，线程让步（Thread.yield()）进行线程让我重新获取新的服务。

线性轮训和RandomRule相似，存了循环条件以外增加了10次的轮训限制，如果10次没有获取到可用的服务，则返回 No available alive serivces after 10 tries  from load balancer.....

RetryRule增加了一个重试机制，此机制默认使用 RoundRobinRule规则来获取服务，通知定义了一个重试时间（maxRetryMillis），如果在重试时间内没有获取到可用的服务，则重复进行获取，如果超出重试时间还未获取到则返回null

该策略主要是对RoundRobinRule规则的扩展，根据实例的运行情况计算权重，并根据权重来选择实例，以达到最优的分配效果

主要实现有3个

1、定时任务计算权重，初始化的时候启动一个30秒的定时任务来计算服务的权重

2、权重计算    权重计算先获取所有实例服务的平均响应时间获取平均响应时间的总和，然后逐个计算每个实例的权重（WeigthSoFar+totalResponseTime-实例的平均响应时间）

3、选择实例  判断最小权重是否大于0.001 如果小于0.001则使用线性轮训的策略，否则 生成一个[0，最大权重值]的随机数，选择一个区间内的随机数，选择随机数所在区间内的服务。

内部使用RoundRobinRule规则来实现策略，但是经常继承这个类来实现高级策略的制定

继承了CIientConfigEnableRoundRobinRule规则，在实现时注入了负载均衡器的统计对象LoadBalacneStats ,同时在选择实例的时候利用LoadBalaceStats来统计信息来来选择满足要求的实例

如果第一次请求LoadBalacneStats 为null，会使用线性轮训的方式来获取满足要求的实例，之后每选择都会统计LoadBalacneStats ，之后选择的时候会选择请求最少的服务。

基于委托的方式来过滤清单的一种策略，在选择服务的时候先将获取到的服务清单通过Predicate配置的过滤条件来过滤一部分服务，然后再通过线性轮训的方式来进行服务选择。实现过滤使用的com.google.commom.base.pridicate中的apply来实现的，new Predicate（loadBalanceKey,service）,关于服务的统计信息和负载均衡器的选择算法传递股过来的key来过滤、

............

Ribben注入的时候会进行一些自动化的配置，自动构建一下接口来提供使用

IClientConfig  来配置Ribben客户端的简单配置

IPing  来实现Ribben的实例检查策略

IRule 来实现负载均衡的策略  默认采用区域感知

ServiceList ;实现服务清单的维护机制

ServivcerFilterList 来实现服务过滤规则  默认采用区域感知

ILoadBalance 负载均衡区 默认采用区域感知

可以在创建Ribben的时候创建一个Configuration来定义以上的接口来覆盖默认的配置。