Sentinel动态推拉数据持久化同步到Nacos
Posted Java小叮当
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Sentinel动态推拉数据持久化同步到Nacos相关的知识，希望对你有一定的参考价值。
前言
在我们使用Sentinel做熔断限流等操作时，一些设置好的配置默认是存放在当前服的内存中的，那么也就意味着每次重启服务，这些配置好的配置就会消失。在我们搭建微服务架构做测试的时候不是很友好。大家都知道Sentinel提供了一些持久化方式，如持久化到Nacos、本地JSON文件。这种方式虽然能解决持久化的操作，但是不能自动同步更新，也就是持久化配置写成什么样就是什么样，在程序启动后，无法动态更新到持久化存储中！当然能做到持久化Nacos或者本地JSON已经很不错了！如果作用做到这一步那么请见Sentinel整合Nacos做持久化这篇文章就够了，如果想要更加灵活，想在运行过程中动态同步Nacos那么就请往下看！一键获取springcloud资料
Sentinel动态推拉数据持久化同步到Nacos
这个操作字面意思看似只要同步Nacos这一套逻辑，其实并不是，同步Nacos其实分为普通服务同步Nacos和Gateway同步Nacos。因为二者无论是在Sentinel
Datasource（Sentinel服务端）
还是我们自己的业务服(包括网关和其他服)通知拉取推送机制都是不一样的，所以针对这种情况需要做两手逻辑操作！
在写动态拉取数据持久化Nacos前，先保证普通服务整合Sentinel和Gateway整合Sentinel默认流程先能跑通！
Sentinel动态推拉数据持久化同步到Nacos(通用部分)
1.下载Sentinel源码
Sentinel-GitHub
我这里以1.7.1版本为基准，说到版本，这里我要多提一嘴，微服务架构搭建最恶心的我觉得倒不是代码有多难写，往往是代码没什么问题，总是各种版本对不上，这就比较头痛，不过我这里提供一套方案，这套版本适配的方案是比较准的，能帮我们确定一个版本的请款下适配Spring Boot、Spring Cloud、Spring Cloud Alibaba之间的版本版本说明，我整套微服务架构的版本使用的是Spring Boot 2.3.2.RELEASE、Spring Cloud Alibaba 2.2.5.RELEASE、Spring Cloud Hoxton.SR8
不扯远了，收回来接着本文继续搞重点！
这就是我们要二开的源码，idea打开一下
2.修改pom.xml
修改pom.xml中的sentinel-datasource-nacos的依赖，将test注释掉，这样才能在主程序中使用。
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
<!--<scope>test</scope>-->
</dependency>
3.创建nacossync目录用来编写我们二开的代码
图中nacossync中这些类就是我们要编写的代码！
4.Naocs数据同步Properties映射类
这个类无论是Gateway二开同步还是普通服务二开都是公用的
/**
* @author TAO
* @description: Naocs数据同步Properties映射类
* @date 2021/5/1 22:36
*/
@Component
@ConfigurationProperties(prefix = "nacos.server")
public class NacosConfigProperties
private String ip;
private String port;
private String namespace;
private String groupId;
public String getIp()
return ip;
public void setIp(String ip)
this.ip = ip;
public String getPort()
return port;
public void setPort(String port)
this.port = port;
public String getNamespace()
return namespace;
public void setNamespace(String namespace)
this.namespace = namespace;
public String getGroupId()
return groupId;
public void setGroupId(String groupId)
this.groupId = groupId;
public String getServerAddr()
return this.getIp() + ":" + this.getPort();
@Override
public String toString()
return "NacosConfigProperties [ip=" + ip + ", port=" + port + ", namespace="
+ namespace + ", groupId=" + groupId + "]";
5.Nacos同步常量类
这个类可有可无，就看要不要这么规范
/**
* @author TAO
* @description: Nacos同步常量类
* @date 2021/5/6 23:19
*/
public final class NacosConfigConstant
public static final String FLOW_DATA_ID_POSTFIX = "-sentinel-flow";//统一sentinel持久化Nacos的文件后缀
6.Nacos同步配置类
这个类的话先写一个空类，后面写到具体的实现时我们在加对应代码！
/**
* @author TAO
* @description: Nacos同步配置类
* @date 2021/5/6 23:19
*/
@Configuration
public class NacosConfig
@Autowired
private NacosConfigProperties nacosConfigProperties;
/**
* TODO 非常关键 这里将FlowRuleEntity转换成FlowRule才会对客户端生效,一下几对是不同场景的版解码器，
* TODO 实际上就是将Nacos中的JSON解析为对应的实体类，将对应的实体类解析为JSON存储的
* @return FlowRule
*/
//TODO 后续这里会加对应的Bean代码 注意!
@Bean
public ConfigService nacosConfigService() throws Exception
Properties properties = new Properties();
properties.put(PropertyKeyConst.SERVER_ADDR, nacosConfigProperties.getServerAddr());
properties.put(PropertyKeyConst.NAMESPACE, nacosConfigProperties.getNamespace());
return ConfigFactory.createConfigService(properties);
7.application.properties配置文件，添加Nacos配置
注意namespace这个Nacos命名空间这个如果使用publish可以不写，如果是其他自建的namespace那么除了写namespace之外还要加其他的标识信息，这个我没深入研究
nacos.server.ip=nacos-ip
nacos.server.port=8848
nacos.server.namespace=
nacos.server.group-id=DEFAULT_GROUP
8.我们自己的业务服添加一下依赖
<!--sentinel-->
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
<!--sentinel-nacos持久化-->
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
9.我们自己的业务服添加一下配置
这段配置其实在做持久化Nacos时应该都写上了，这里还是提一嘴！
spring:
application:
name: yy-auth
cloud:
nacos:
discovery:
server-addr: nacos:8848
sentinel:
transport:
dashboard: sentinel:9999
client-ip: 192.168.1.109 # 防止sentinel抓取虚拟ip
port: 8719
datasource: #注意虽然sentinel配置了同步nacos拓展，并且数据能在控制台上同步显示，但是那些数据只是控制台读取的，并不是我们自己真实的服务读取的，所以下面配置还要写
ds1:
nacos:
server-addr: nacos:8848
#namespace: sentinel
dataId: yy-auth-sentinel-flow
groupId: DEFAULT_GROUP
data-type: json
rule-type: flow
Sentinel动态推拉数据持久化同步到Nacos(普通服务)
1.编写拉取Nacos配置类
/**
* @author TAO
* @description: 拉取Nacos配置
* @date 2021/5/6 23:18
*/
@Component("flowRuleNacosProvider")
public class FlowRuleNacosProvider implements DynamicRuleProvider<List<FlowRuleEntity>>
private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosProvider.class);
@Autowired
private NacosConfigProperties nacosConfigProperties;
@Autowired
private ConfigService configService;
@Autowired
private Converter<String, List<FlowRuleEntity>> converter;
@Override
public List<FlowRuleEntity> getRules(String appName) throws Exception
logger.info("当前从Nacos中拉取的限流规则配置文件名:", appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX);
String rules = configService.getConfig(appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), 3000);
logger.info("从Nacos中拉取到限流规则信息:", rules);
if (StringUtil.isEmpty(rules))
return new ArrayList<>();
return converter.convert(rules);
2.编写推送配置到Nacos类
/**
* @author TAO
* @description: 推送配置到Nacos
* @date 2021/5/6 23:19
*/
@Component("flowRuleNacosPublisher")
public class FlowRuleNacosPublisher implements DynamicRulePublisher<List<FlowRuleEntity>>
private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosPublisher.class);
@Autowired
private NacosConfigProperties nacosConfigProperties;
@Autowired
private ConfigService configService;
@Autowired
private Converter<List<FlowRuleEntity>, String> converter;
@Override
public void publish(String app, List<FlowRuleEntity> rules) throws Exception
AssertUtil.notEmpty(app, "app name cannot be empty");
if (rules == null)
return;
logger.info("推送到Nacos配置:", rules);
configService.publishConfig(app + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), converter.convert(rules));
3.修改流控规则跳转URL
找到resources/app/scripts/directives/sidebar/sidebar.html中的这段代码：
<li ui-sref-active="active">
<a ui-sref="dashboard.flowV1(app: entry.app)">
<i class="glyphicon glyphicon-filter"></i> 流控规则
</a>
</li>
修改为：
<li ui-sref-active="active">
<a ui-sref="dashboard.flow(app: entry.app)">
<i class="glyphicon glyphicon-filter"></i> 流控规则
</a>
</li>
这样修改之后就会跳转到FlowControllerV2的接口。
4.在Nacos同步配置类中添加对应Bean
//普通服务-Sentinel同步Nacos
@Bean
public Converter<List<FlowRuleEntity>, String> flowRuleEntityEncoder()
return rules -> JSON.toJSONString(rules.stream().map(FlowRuleEntity::toRule).collect(Collectors.toList()), true);
@Bean
public Converter<String, List<FlowRuleEntity>> flowRuleEntityDecoder()
return s -> JSON.parseArray(s, FlowRuleEntity.class);
5.将flowRuleDefaultProvider、flowRuleDefaultPublisher替换为我们自己的flowRuleNacosProvider、flowRuleNacosPublisher
将FlowControllerV2中的默认DynamicRuleProvider和DynamicRulePublisher修改为：
@Autowired
@Qualifier("flowRuleNacosProvider")
private DynamicRuleProvider<List<FlowRuleEntity>> ruleProvider;
@Autowired
@Qualifier("flowRuleNacosPublisher")
private DynamicRulePublisher<List<FlowRuleEntity>> rulePublisher;
private void publishRules(/*@NonNull*/ String app) throws Exception
List<FlowRuleEntity> rules = repository.findAllByApp(app);
rulePublisher.publish(app, rules);
logger.info("添加限流规则成功", JSON.toJSONString(rules.stream().map(FlowRuleEntity::toRule).collect(Collectors.toList()), true));
重启服务即可！注意，我这里直接修改的是导航栏的跳转URL，所以只有在对应位置才有效
其他入口需要修改才生效。这里我就不过多演示了！
Sentinel动态推拉数据持久化同步到Nacos(Gateway)
Gateway做推拉持久化就更加简单了！废话不都说，干就完事了！
1.编写拉取Nacos-Gateway配置
/**
* @author TAO
* @description: 拉取Nacos-Gateway配置
* @date 2021/5/6 23:18
*/
@Component("flowRuleNacosGatewayProvider")
public class FlowRuleNacosGatewatProvider implements DynamicRuleProvider<List<GatewayFlowRuleEntity>>
private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosGatewatProvider.class);
@Autowired
private NacosConfigProperties nacosConfigProperties;
@Autowired
private ConfigService configService;
@Autowired
private Converter<String, List<GatewayFlowRuleEntity>> converter;
@Override
public List<GatewayFlowRuleEntity> getRules(String appName) throws Exception
logger.info("当前从Nacos中拉取Gateway的限流规则配置文件名:", appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX);
String rules = configService.getConfig(appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), 3000);
logger.info("从Nacos中拉取到Gateway限流规则信息:", rules);
if (StringUtil.isEmpty(rules))
return new ArrayList<>();
return converter.convert(rules);
2.编写推送配置到Nacos-Gateway
/**
* @author TAO
* @description: 推送配置到Nacos-Gateway
* @date 2021/5/6 23:19
*/
@Component("flowRuleNacosGatewayPublisher")
public class FlowRuleNacosGatewayPublisher implements DynamicRulePublisher<List<GatewayFlowRuleEntity>>
private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosGatewayPublisher.class);
@Autowired
private NacosConfigProperties nacosConfigProperties;
@Autowired
private ConfigService configService;
@Autowired
private Converter<List<GatewayFlowRuleEntity>, String> converter;
@Override
public void publish(String app, List<GatewayFlowRuleEntity> rules) throws Exception
AssertUtil.notEmpty(app, "app name cannot be empty");
if (rules == null)
return;
logger.info("推送到Gateway-Nacos配置:", rules);
configService.publishConfig(app + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), converter.convert(rules));
3.Nacos同步配置类添加相应Bean
//Gateway-Sentinel同步Nacos
@Bean
public Converter<List<GatewayFlowRuleEntity>, String> gatewayFlowRuleEntityEncoder()
return rules -> JSON.toJSONString(rules);
@Bean
public Converter<String, List<GatewayFlowRuleEntity>> gatewayFlowRuleEntityDecoder()
return s -> JSON.parseArray(s, GatewayFlowRuleEntity.class);
4.Gateway服务pom添加相应依赖
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
<!--sentinel-gateway-->
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId>
</dependency>
<!--sentinel-nacos持久化-->
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-spring-cloud-gateway-adapter</artifactId>
</dependency>
5.Gateway服务添加配置
spring:
application:
name: yy-gateway
main:
allow-bean-definition-overriding: true
cloud:
nacos:
discovery:
server-addr: nacos:8848
sentinel:
transport:
dashboard: sentinel:9999
client-ip: 10.0.0.208 # 防止sentinel抓取虚拟ip
port: 8719
datasource: #注意虽然sentinel配置了同步nacos拓展，并且数据能在控制台上同步显示，但是那些数据只是控制台读取的，并不是我们自己真实的服务读取的，所以下面配置还要写
ds1:
nacos:
server-addr: nacos:8848
#namespace: sentinel
dataId: yy-gateway-sentinel-flow
groupId: DEFAULT_GROUP
data-type: json
rule-type: gw-flow
这里注意一下rule-type和普通服务不一样， gw-flow,重启服务即可！
以上是关于Sentinel动态推拉数据持久化同步到Nacos的主要内容，如果未能解决你的问题，请参考以下文章
使用Sentinel Dashboard动态推拉数据同步到Nacos
Spring Cloud Alibaba基础教程：Sentinel Dashboard同步Apollo存储规则
Sentinel dashboard持久化，持久化到nacos和数据库中（基于sentinel 1.8.2)