IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Sentinel dashboard持久化,持久化到nacos和数据库中(基于sentinel 1.8.2) -> 正文阅读

[大数据]Sentinel dashboard持久化,持久化到nacos和数据库中(基于sentinel 1.8.2)

我们知道,Sentinel dashboard默认是是没有持久化功能的,都是保存在内存中的,对于sentinel客户端同样如此,当在sentinel dashboard配置规则的时候,dashboard会获取对应应用配置的dashboard给应用传递消息的http,将规则通过HTTP请求发送给sentinel客户端,同样,sentinel客户端也是没有持久化的都是放在内存中的。
sentinel dashbord通过HTTP向sentinel客户端获取客户端的限流配置,而在dashboard更新配置之后则通过HTTP向sentinel客户端推送更新的限流配置。

sentinel dashboard和sentinel客户端两个都各自开启了HTTP服务用来通信,sentinel dashboard开启的是一个正常的web应用,比如默认用spingboot就是基于tomcat,而sentinel客户端同样也会开启端口,让dashbaoard请求发送消息给sentinel客户端,值只不过这个客户端是一个简易的HTTP实现,实现就是基于常规的ServerSocket去实现的。而不管是sentinel dashboard将规则推送给sentinel客户端,还是sentinel客户端将相关信息推送给sentinel dashboard,sentinel dashboatd和sentinel客户端都是保存在内存中的
如果sentinel-dashboard重启,或者sentinel客户端重启,两者数据都会丢失,这对于生产肯定是不行的,因此需要进行持久化。

查看相关源码之后,我觉得可以通过两种方式

  • sentinel提供了DataSource方式,将需要保存的数据放在datasouce中,dashboard操作datasouce中数据,而sentinel客户端则从datasouce中拉取数据

这里我们以网上常说的基于Nacos为例来说明。

Sentinel Datasource

在说这个之前,需要说下sentinel中的Datasource,可以理解为这是对sentinel配置存储的一个抽象,
我们以大家常见的spring cloud位列,说下这个是怎么生效的。
在sentinel spring cloud中,提供了SentinelProperties的配置类,其中有一个:
private Map<String, DataSourcePropertiesConfiguration> datasource = new TreeMap<>( String.CASE_INSENSITIVE_ORDER);则是配置Datasource的入口,
DataSourcePropertiesConfiguration中有如下几种配置:

public class DataSourcePropertiesConfiguration {

	private FileDataSourceProperties file;

	private NacosDataSourceProperties nacos;

	private ZookeeperDataSourceProperties zk;

	private ApolloDataSourceProperties apollo;

	private RedisDataSourceProperties redis;

	private ConsulDataSourceProperties consul;
}

如果我们配置了nacos,那么这里就会对NacosDataSourceProperties进行实例化,
而所有的DataSourcePropertiesConfiguration会在 SentinelDataSourceHandler中进行处理,其实现了SmartInitializingSingleton,当spring容器就绪后,会调用其afterSingletonsInstantiated,这里就会向spring容器注入Datasocue对应FactoryBean,

public NacosDataSourceProperties() {
		super(NacosDataSourceFactoryBean.class.getName());
	}

NacosDataSourceFactoryBeangetObject工厂方法实现如下:

public NacosDataSource getObject() throws Exception {
		Properties properties = new Properties();
		if (!StringUtils.isEmpty(this.serverAddr)) {
			properties.setProperty(PropertyKeyConst.SERVER_ADDR, this.serverAddr);
		}
		else {
			properties.setProperty(PropertyKeyConst.ENDPOINT, this.endpoint);
		}

		if (!StringUtils.isEmpty(this.accessKey)) {
			properties.setProperty(PropertyKeyConst.ACCESS_KEY, this.accessKey);
		}
		if (!StringUtils.isEmpty(this.secretKey)) {
			properties.setProperty(PropertyKeyConst.SECRET_KEY, this.secretKey);
		}
		if (!StringUtils.isEmpty(this.namespace)) {
			properties.setProperty(PropertyKeyConst.NAMESPACE, this.namespace);
		}
		if (!StringUtils.isEmpty(this.username)) {
			properties.setProperty(PropertyKeyConst.USERNAME, this.username);
		}
		if (!StringUtils.isEmpty(this.password)) {
			properties.setProperty(PropertyKeyConst.PASSWORD, this.password);
		}
		return new NacosDataSource(properties, groupId, dataId, converter);
	}

可以看到,这里会向spring容器注入一个NacosDataSource.
而在SentinelDataSourceHandler中,当NacosDataSource实例化之后,会调用dataSourceProperties.postRegister(newDataSource);:

public void postRegister(AbstractDataSource dataSource) {
		switch (this.getRuleType()) {
		case FLOW:
			FlowRuleManager.register2Property(dataSource.getProperty());
			break;
		case DEGRADE:
			DegradeRuleManager.register2Property(dataSource.getProperty());
			break;
		case PARAM_FLOW:
			ParamFlowRuleManager.register2Property(dataSource.getProperty());
			break;
		case SYSTEM:
			SystemRuleManager.register2Property(dataSource.getProperty());
			break;
		case AUTHORITY:
			AuthorityRuleManager.register2Property(dataSource.getProperty());
			break;
		case GW_FLOW:
			GatewayRuleManager.register2Property(dataSource.getProperty());
			break;
		case GW_API_GROUP:
			GatewayApiDefinitionManager.register2Property(dataSource.getProperty());
			break;
		default:
			break;
		}
	}

而这个方法的作用,是每隔规则的配置都会向NacosDataSourceProperties注册一个监听器,NacosDataSource中会通过Nacos客户端注册configListener当有配置发生更新的时候,会通过configListener调用NacosDataSourceProperties.updateValue而在updateValue则通知上面注册的监听器,每隔规则管理角色就会更新对应的规则信息。

public NacosDataSource(final Properties properties, final String groupId, final String dataId,
                           Converter<String, T> parser) {
        super(parser);
        if (StringUtil.isBlank(groupId) || StringUtil.isBlank(dataId)) {
            throw new IllegalArgumentException(String.format("Bad argument: groupId=[%s], dataId=[%s]",
                groupId, dataId));
        }
        this.groupId = groupId;
        this.dataId = dataId;
        this.properties = properties;
        this.configListener = new Listener() {
            @Override
            public Executor getExecutor() {
                return pool;
            }
            public void receiveConfigInfo(final String configInfo) {
                T newValue = NacosDataSource.this.parser.convert(configInfo);
                getProperty().updateValue(newValue);
            }
        };
        initNacosListener();
        loadInitialConfig();
    }
private void initNacosListener() {
        try {
            this.configService = NacosFactory.createConfigService(this.properties);
            configService.addListener(dataId, groupId, configListener);
        } catch (Exception e) {
        }
    }

所以如果我们在sentinel的客户端配置了nacos datasource,那么理论上sentinel能够获取和动态感知配置的变化做出响应

那么sentinel dashboard中是否能够将配置写入到sentinel中呢 ?

Sentinel dashboard写入到Nacos中

在Sentinel1.81中对于Dashbord提供了V2处理方式,新增了DynamicRuleProviderDynamicRulePublisher,而在V1中都是通过SentinelApiClient方式,即简单通过HTTP向Sentinel客户端发送请求更新数据。DynamicRuleProvider主要是dashboard来获取已经配置的规则,而DynamicRulePublisher则是更新规则后发布。说白了就是,通过DynamicRuleProvider获取配置的规则,通过DynamicRulePublisher写入修改的配置。
在V1中,获取配置的规则则是通过HTTP请求向sentinel客户端获取,更新配置则是通过HTTP请求向sentinel客户端推送配置。

在V2中虽然在正式版本里面没有提供相关的实现(V2默认依然是通过HTTP请求获取),但是在项目的test中则提供了Nacos的相关实现:
在这里插入图片描述
主要有如下四个类:

  • FlowRuleNacosProvider 从nacos中获取配置
  • FlowRuleNacosPublisher 将配置写入到nacos中
  • NacosConfig nacos的相关配置类
  • NacosConfigUtil nacos默认group dataid配置。

下面开始讲解怎么调整:

  1. 首选在sentinel dashboard中调整页面流控访问接口,在这里插入图片描述
    调整sidebar.html中如下代码:
    <!----><li ui-sref-active="active" ng-if="entry.appType==0">
            <!----><a ui-sref="dashboard.flow({app: entry.app})">
              <!----><i class="glyphicon glyphicon-filter"></i>&nbsp;&nbsp;流控规则 V2</a>
          <!----></li>

去掉上述代码的注释,注释或者去掉如下代码:

     <li ui-sref-active="active" ng-if="!entry.isGateway">
            <a ui-sref="dashboard.flowV1({app: entry.app})">
              <i class="glyphicon glyphicon-filter"></i>&nbsp;&nbsp;流控规则</a>
          </li>

然后在代码目录下新建com.alibaba.csp.sentinel.dashboard.rule.nacos包,将刚才提到的四个类放到该包下:
在这里插入图片描述
其中需要对NacosConfig类进行调整:

public class NacosConfig {
@Value("${sentinel.nacos.addr}")
    private String addr;
    @Bean
    public Converter<List<FlowRuleEntity>, String> flowRuleEntityEncoder() {
        return JSON::toJSONString;
    }

    @Bean
    public Converter<String, List<FlowRuleEntity>> flowRuleEntityDecoder() {
        return s -> JSON.parseArray(s, FlowRuleEntity.class);
    }

    @Bean
    public ConfigService nacosConfigService() throws Exception {
        System.out.println("nacosConfigService with "+addr);
        return ConfigFactory.createConfigService(addr);
    }
    }

主要就是调整了读取nacos的配置,默认是直接localhost,然后FlowControllerV2中调整如下:

 @Autowired
    //@Qualifier("flowRuleDefaultProvider")
    @Qualifier("flowRuleNacosProvider")
    private DynamicRuleProvider<List<FlowRuleEntity>> ruleProvider;
    @Autowired
    //@Qualifier("flowRuleDefaultPublisher")
    @Qualifier("flowRuleNacosPublisher")
    private DynamicRulePublisher<List<FlowRuleEntity>> rulePublisher;

然后在application.properties中增加nacos配置如下

sentinel.nacos.addr=xxx

调整完之后,需要在Nacos增加对应项目的流控配置:
在这里插入图片描述

如果不想在nacos中配置规则,在sentinel dashbaord中配置,这里配置一个[]即可
这样sentinel dashboard端就调整完了

接下来调整客户端
客户端pom依赖如下:


    <dependencies>
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            <version>2.2.7.RELEASE</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-datasource-nacos</artifactId>
            <version>1.8.2</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
            <version>2.2.7.RELEASE</version>
            <!---->
            <exclusions>
                <exclusion>
                    <groupId>com.alibaba.nacos</groupId>
                    <artifactId>nacos-client</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!---->
        <dependency>
            <groupId>com.alibaba.nacos</groupId>
            <artifactId>nacos-client</artifactId>
            <version>1.4.2</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>2.3.2.RELEASE</version>
        </dependency>
    </dependencies>

application.properties配置如下:

spring.application.name=sentinel-test-001
server.port=8080
spring.cloud.sentinel.transport.dashboard=localhost:8081
spring.cloud.sentinel.datasource.ds1.nacos.server-addr=xxxx
spring.cloud.sentinel.datasource.ds1.nacos.data-id=${spring.application.name}-flow-rules
spring.cloud.sentinel.datasource.ds1.nacos.group-id=SENTINEL_GROUP
spring.cloud.sentinel.datasource.ds1.nacos.data-type=json
spring.cloud.sentinel.datasource.ds1.nacos.rule-type=flow

然后我们启动sentinel dashboard和sentinel客户端,然后在dashboard中配置:
在这里插入图片描述

在这里插入图片描述

关闭客户端重启,发现规则依然生效。
这里需要注意的是,这个地方只是实现了流控这一种规则,其他规则需要自己在实现。
其实不知道大家有没有发现,这里如果不对sentinel-dashboard调整,而是直接调整客户端基于datasource方式来获取配置,也是可以的,但是这时候就不能在sentinel dashboard里面配置规则了,而需要在nacos中配置

这应该是目前网上比较流行的一种实例化的方法,这里我在另外提出一种方法,大家可以试验下:
sentinel dashboard保存的时候,我们将其保存在数据库中,并同时推送给客户端,在获取配置的时候,不采用默认从客户端获取的方式,而是从数据库中读取。sentinel 中默认数据都是放在内存中的都是基于InMemoryRuleRepositoryAdapter这个抽象类,每个规则有自己不同实现,我们自己实现这个类,对每个规则都保存到数据库中。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-15 18:21:59  更:2021-12-15 18:22:17 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:22:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码