sentinel中的DatatSource学习

Posted 2021-01-05 cdfive2018

sentinel是今年阿里开源的高可用防护的流量管理框架。

git地址：https://github.com/alibaba/Sentinel

--------------------------------------------------------------------------------------------------------------------------------------------------------

本文对其中的DataSource扩展进行学习，此为第一部分ReadableDataSource。

sentinel-datasource-extension模块，在sentinel-extension模块下，如下图：

 sentinel-datasource-extension模块主要定义了datasource扩展相关的接口，见下图：

其中，FileRefreshableDataSource、FileWritableDataSource是基于文件的DataSource的实现；

此外官方还提供了zookeeper、nacos、apolo的3个DataSource实现，参见上图的sentinel-datasource-zookeeper、sentinel-datasource-nacos、sentinel-datasource-apollo的3个模块；

 

首先，我们来看下sentinel-datasource-extension模块吧，先看下接口和类图结构；

在IDEA里，选中com.alibaba.csp.sentinel.datasource包下所有类和接口，右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U)：

可以看到，顶层有3个接口，两个DataSource，一个Converter；

顾名思义，ReadableDataSource表示读的数据源，WriteableDataSource表示写的数据源，Converter表示转换器接口；

一个个看:)

ReadableDataSource<S, T>：这是个泛型接口，其实注释很清楚了，S、T分别代码来源和结果，一般是把某个数据来源对象转换成Sentinel的Rule类，比如String->List<FlowRule>;

接口定义了4个方法：

1.T loadConfig() 从数据源中读取数据，返回T类型数据；

   后面会看到，其实该方法实现通常是2步

   S readSource(); // 调下面的readSource接口读取

   T convert(S source); // 通过Converter<S, T>接口转换

2.S readSource() 从数据源中读取数据，返回S类型数据；

   读取数据跟具体的数据源有关，需要数据源相关的api包或client；

   比如从文件中读数据，通过java.io、java.nio包；

          从zookeeper读取，通过org.apache.curator client api；

      

    读数据又分为拉模式、推模式，参考sentinel官方的wiki，动态规则扩展：https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95

    拉模式：继承AutoRefreshDataSource抽象类，在readSource()中实现从数据源读取数据；

    推模式：继承AbstractDataSource抽象类，在构造函数中添加数据源变动的监听器，在readSource()中实现从数据源读取数据；

    注：继承这两个抽象类是推荐的一种简单方式，但不是强制；

3.SentinelProperty<T> getProperty() 返回SentielProperty，注意是<T>类型

   SentinelProperty<T>是一个泛型接口，在sentinel-core模块的property包下

 

4.void close() 关闭数据源，一般是指释放资源，比如文件类型数据源关闭文件

 

既然关键的接口，其中一个方法返回SentinelProperty<T>，那我们先去sentinel-core看看该接口和相关的实现类。

先查看接口和类图结构。同样方法，选中property包下所有类和接口，右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U)：

顶层有2个接口，看名称PropertyListener可能跟SentinelProperty的监听有关。

先看SentinelProperty接口

有3个方法，看名称感觉有点像观察者模式中的监听器。

接着，我们看下它的2个实现类

NoOpSentinelProperty类方法实现为空，从名称也看得出，它不作任何操作；

对着NoOpSentinelProperty类名按住Crtl+鼠标左键，

发现只有EmptyDataSource类用到了NoOpSentinelProperty，看注释和方法，了解到这是一个空的DataSource实现，用于设置默认配置。

接着，我们重点关注SentinelProperty<T>接口的另一个实现DynamicSentinelProperty<T>

可以看到，DynamicSentinelProperty<T>定义了2个属性，

Set<PropertyListener<T>> listeners用于保存属性监听器，注意PropertyListener<T>是接口类型；

T value 用于存值；

观察addListener、removeListener方法，分别是往Set<PropertyListener<T>> listeners添加和删除监听器；

只是addListener方法添加了监听器后，调用了添加的那个监听器的listener.configLoad(value)回调方法，用于监听器处理第一次加载

在实现的void updateValue(T newValue)方法中，首先通过isEqual(value, newValue)方法，判断了新值和旧值是否相同，

如果相同，不作处理直接返回；

如果不同，首先用RecordLog.info方法记1条日志信息；

将新值赋给value，遍历监听器集合，调用回调方法listener.configUpdate(newValue)；// 看到这里就很清楚了，这是典型的观察者模式

此外，DynamicSentinelProperty还提供一个public方法close用户清空监听器集合；

 

我们接着看PropertyListener<T>接口：

该接口提供了两个回调方法，1个是value更新回调，1个是第一次加载value回调

在看实现了PropertyListener<T>的SimplePropertyListener类：

该类是一个抽象类，重写了configLoad方法，调用configUpdate(value)方法，意思就是第一次加载回调复用更新回调的逻辑。

到这里，我们并没有看到PropertyListener<T>接口的具体实现类，

选中PropertyListener文件，Ctrl+H类型继承结构：

可以看到除SimplePropertyListener抽象类外，有6个类直接或间接实现了PropertyListener<T>，通过静态内部类或匿名内部类；

限于篇幅，本文暂不展开了。

对sentinel-core下的property包简单总结下：定义了属性和监听器接口，其中DynamicSentinelProperty通过观察者模式，实现了属性的第一次加载和变动的回调通知。

 

我们回到datasource包，顺着ReadableDataSource的继承结构看：

先看AbstractDataSource<S,T>:

实现了ReadableDataSource<S,T>的两个接口，T loadConfig()和 SentinelProperty<T> getProperty()

定义了两个属性，一个转换器Converter<S, T> parser，一个前文提到的SentinelProperty<T> property；

可以看到getProperty()直接返回propery即可；

而loadConfig()方法，首先调用接口中的readSource()方法得到S数据，再调用parser.convert转换成T数据// ps：这里变量名是parser，因Converter接口重构过，以前版本叫ConfigParser接口，后来抽象出了WritableDataSource接口，

S->T、T->S都有转换，因此ConfigParser改为Converter

构造函数中，需要传入一个Converter<S,T>对象，并且验证不能为null；而SentinelProperty<T> property使用了之前提到的DynamicSentinelProperty<T>实现；

 

再来看AutoRefreshDataSource<S, T>抽象类：

该类扩展了AbstractDataSource<S, T>，在基础上通过ScheduledExecutorService使用后台线程，定时刷新数据（即轮询方式的拉模式），

抽象了一个protected boolean isModified()方法，用于子类实现，判断数据源是否发生了数据变化；

T newValue = loadConfig(); // 还记得AbstractDataSource<S, T>实现了loadConfig吗，通过readSource()、parser.convert()两步实现
getProperty().updateValue(newValue);// 这两句很关键，自定义实现也会用到，读取数据，更新SentinelProperty。

实现了close()方法，用ScheduledExecutorService的shutdownNow()方法，进行了线程的关闭；

注意：AutoRefreshDataSource<S, T>仍然是个抽象类，因为它没有实现具体S readSource()方法，留给具体数据源的子类实现；

 

接下来，我们下一个类FileRefreshableDataSource，终于该类不是抽象类了:)  可以new使用。

该类代码较多，就不贴完了，首先继承AutoRefreshDataSource<String, T>，注意：泛型S已经没有了，而是具体的String，说明T readSource方法返回的是String，Converter<S, T>中的转换来源也是String;

静态属性文件读取的固定参数，比如文件缓冲区最大限制，字符类型等；

类属性定义了缓存区字节数组、文件等；

 

来看关键的两个方法：

readSource是抽象类中没有实现的方法了，这里有了具体实现，从文件中读取数据，并返回String；

isModifed方法根据文件修改时间判断是否数据源（即文件内容）发生了变化；

 

我们看看FileRefreshableDataSource具体哪里用到的；按住Ctrl键，对着类名点左键：

 找到了它的demo示例，在sentinel-demo模块的子模块sentinel-demo-dynamic-file-rule下：

 

可以看到，使用FileFreashDataSource就4步：

1.定义文件路径

2.定义String到List<XxxRule>转换器

3.构造FileFreashDataSource

4.用XxxRuleManager.register2Property加载

----------------------------------------------------------------------------------------------------------------------------------------------------------

最后，我们对ReadableDataSource做个简单的总结：