IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Java知识库 -> 详解sentinel:分布式系统的流量防卫兵 -> 正文阅读

[Java知识库]详解sentinel:分布式系统的流量防卫兵

目录

sentinel是什么

sentinel具有以下特征

丰富的应用场景

完备的实时监控

广泛的开源生态

完善的SPI扩展点

sentinel的主要特性

?下载安装

控制台

应用接入

pom文件

application.yml

sentinel的功能

流控规则

直接-快速失败

?默认错误

?关联-快速失败

预热-Warm Up

?排队等待

降级规则

RT(平均响应时间)

异常比例

异常数

热点规则-热点key限流

?自定义异常信息

?热点规则?

参数例外项

系统规则(总控-所有的uri的控制)

自定义兜底方法(错误信息)

?@SentinelResource注解

ribbon、nacos、sentinel一起使用

异常忽略

?feign

sentinel、Hystrix、resilience4j的对比

持久化


sentinel是什么

随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。

其实sentinel就是histrix的阿里版本!有一套单独的web管理界面,可以给我们进行更加细粒度化的配置流控、速率控制、服务熔断、服务降级等等。

sentinel具有以下特征

丰富的应用场景

sentinel承接了阿里巴巴近10年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。

完备的实时监控

sentinel同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据,甚至500台以下规模的集群的汇总运行情况。

广泛的开源生态

sentinel提供开箱即用的与其它开源框架/库的整合模块,例如与spring cloud、dubbo、gRPC的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入sentinel。

完善的SPI扩展点

sentinel提供简单易用、完善的SPI扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

sentinel的主要特性

?下载安装

控制台

sentinel分为两个部分:

1.核心库(java客户端)不依赖任何框架/库,能够运行于所有java运行时环境,同时对dubbo/spring cloud等框架也有较好的支持。

2.?控制台(dashboard)基于spring?boot开发,打包后可以直接运行,不需要额外的tomcat等应用容器。

sentinel使用的是8080端口!

启动命令:java -jar sentinel-dashboard-1.7.0.jar

用户名密码:sentinel/sentinel

localhost:8080访问(懒加载)

?

应用接入

pom文件

<!--SpringCloud ailibaba nacos -->
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
</dependency>
<!--SpringCloud ailibaba sentinel-datasource-nacos 后续做持久化用到-->
<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
<!--SpringCloud ailibaba sentinel -->
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

application.yml

server:
  port: 8401

spring:
  application:
    name: cloudalibaba-sentinel-service
  cloud:
    nacos:
      discovery:
        server-addr: localhost:8848 #Nacos服务注册中心地址
    sentinel:
      transport:
        dashboard: localhost:8080 #配置Sentinel dashboard地址
        port: 8719 #默认8719端口,假如被占用会自动从8719开始依次+1扫描,直至找到未被占用的端口
      datasource:
        ds1:
          nacos:
            server-addr: localhost:8848
            dataId: cloudalibaba-sentinel-service
            groupId: DEFAULT_GROUP
            data-type: json
            rule-type: flow

management:
  endpoints:
    web:
      exposure:
        include: '*'

feign:
  sentinel:
    enabled: true # 激活Sentinel对Feign的支持

sentinel的功能

流控规则

1.资源名:唯一名称,默认请求路径。

2.针对来源:Sentinel可以针对调用者进行限流,填写微服务名,默认default(不区分来源)。

3.阈值类型/单机阈值:

? ? QPS(每秒钟的请求数量):当调用该api的QPS达到阈值的时候,进行限流。

? ? 线程数:当调用该api的线程数达到阈值的时候,进行限流。

4.是否集群:不需要集群。

5.流控模式:

? ? 直接:api达到限流条件时,直接限流。

? ? 关联:当关联的资源达到阈值时,就限流自己。(当与A关联的资源B达到阈值后,就限流A自己)

? ? 链路:只记录指定链路上的流量(指定资源从入口资源进来的流量,如果达到阈值,就进行限流)【api级别的针对来源】

6.流控效果:

? ? 快速失败:直接失败,抛出异常。

? ? Warm?Up(预热):根据codeFactor(冷加载因子,默认3)的值,从阈值/codeFactor,经过预热时长,才达到设置的QPS阈值。

? ? 排队等待:匀速等待,让请求以匀速的速度通过,阈值类型必须设置为QPS,否则无效。

直接-快速失败

以下配置表示:1秒钟内只可以查询一次,若超过次数1,就直接-快速失败,报默认错误。

?默认错误

sentinel有自带默认的错误

源码:com.alibaba.csp.sentinel.slots.block.flow.controller.DefaultController

直接:快速失败(默认的流控处理)。

?关联-快速失败

以下配置表示:当关联资源/testB的qps阈值超过1时,就限流/testA的Rest访问地址,当关联资源到阈值后限制配置好的资源名

预热-Warm Up

Warm Up(RuleConstant.CONTROL_BEHAVIOR_WARM_UP)方式,即预热/冷启动方式。当系统长期处于低水位的情况下,当流量突然增加时,直接把系统拉升到高水位可能瞬间把系统压垮。通过“冷启动”,让通过的流量缓慢增加,在一定时间内逐渐增加到阈值上限,给冷系统一个预热的时间,避免冷系统被压垮。

通常冷启动的过程系统允许通过的QPS曲线如下图所示:

?Warm Up配置

默认coldFactor为3,即请求QPS从(threshold /?3)开始,经多少预热时长才逐渐升至设定的QPS阈值。

案例:阈值为10+预热时长设置5秒。

系统初始化的阈值为10 / 3约等于3,即阈值刚开始为3;然后过了5秒后阈值才慢慢升高恢复到10。

?排队等待

匀速排队,让请求以均匀的速度通过,阈值类型必须设成QPS,否则无效。

设置含义:/testA每秒1次请求,超过的话就排队等待,等待的超时时间为20000毫秒。

?匀速排队(RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER)方式会严格控制请求通过的间隔时间,也即是让请求以均匀的速度通过,对应的是漏桶算法。

该方式的作用如下图所示:

?这种方式主要用于处理间隔性突发的流量,例如消息队列。想象一下这样的场景,在某一秒有大量的请求到来,而接下来的几秒则处于空闲状态,我们希望系统能够在接下来的空闲期间逐渐处理这些请求,而不是在第一秒直接拒绝多余的请求。

降级规则

?

RT(平均响应时间,秒级):

? ? 平均响应时间?超出阈值?且?在时间窗口内通过的请求>=5,两个条件同时满足后触发降级。

? ? 窗口期过后关闭断路器。

? ? RT最大4900(更大的需要通过-Dcsp.sentinel.statistic.max.rt=xxxx才能生效)

异常比例(秒级):

? ? QPS>=5且异常比例(秒级统计)超过阈值时,触发降级;时间窗口结束后,关闭降级。

异常数(分钟级):

? ? 异常数(分钟统计)超过阈值时,触发降级;时间窗口结束后,关闭降级。

?? ?Sentinel熔断降级会在调用链路中某个资源出现不稳定状态时(例如调用超时或异常比例升高),对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联错误。

?? ?当资源被降级后,在接下来的降级时间窗口之内,对该资源的调用都自动熔断(默认行为是抛出DegradeException)。

?? ?Sentinel是没有半开状态的!半开状态系统自动去检测是否请求有异常,没有异常就关闭断路器恢复使用,有异常则继续打开断路器不可用。具体可以参考Hystrix。

RT(平均响应时间)

?

?

?

?按照上述配置,永远一秒钟打进来10个线程(大于5个了)调用testD,我们希望200毫秒处理完本次任务,如果超过200毫秒还没处理完,在未来1秒钟的时间窗口内,断路器打开(保险丝跳闸)微服务不可用,保险丝跳闸断电了。

后续我们停止jmeter,没有这么大的访问量了,断路器关闭(保险丝恢复),微服务继续使用。

异常比例

异常比例(DEGRADA_GRADE_EXCEPTION_RATIO):当资源的每秒请求量>=5,并且每秒异常总数占通过量的比值超过阈值(DegradeRule中的count)之后,资源进入降级状态,即在接下来的时间窗口(DeradeRule中的timeWindow,以s为单位)之内,对这个方法的调用都会自动地返回。异常比率的阈值范围是[0.0, 1.0],代表0% - 100%。

?

?

?

?按照上述配置,单独访问一次,必然会报错一次(int age = 10/0),调用一次报错一次。

开启jmeter后,直接高并发发送请求,后台持续报错,断路器开启,微服务不可用了。

异常数

异常数(DEGRADE_GRADE_EXCEPTION_COUNT):当资源近1分钟的异常数目超过阈值之后会进行熔断。注意由于统计时间窗口是分钟级别的,若timeWindow小于60s,则结束熔断状态后仍可能再进入熔断状态。

时间窗口一定要大于等于60秒。

?

?

?http://localhost:8080/testE,第一次访问报错,我们看到error窗口,但是达到5次报错后,进入熔断后降级。

热点规则-热点key限流

源码:com.alibaba.csp.sentinel.slots.block.BlockException

?自定义异常信息

?热点规则

?方法testHotKey里面的第一个参数(参数索引设置为0)主要QPS超过每秒1次,马上降级处理,会调用deal_testHotKey。

也就是说:

访问http://localhost:8080/testHotKey?p1=abc? 热点规则生效

访问http://localhost:8080/testHotKey?p1=abc&p2=123? 热点规则生效

访问http://localhost:8080/testHotKey?p2=abc? 热点规则不生效

参数例外项

?

?

场景:

1.普通场景:超过1秒钟一个后,达到阈值1后马上限流。

2.特例:我们希望p1参数当它是某个特殊值时,它的限流值和平时不一样(加入当p1的值等于5时,它的阈值可以达到200)。

方法中报错,该报异常报异常,它只处理自己的异常:

?@SentinelResource处理的是Sentinel控制台配置的违规情况,有blockHandler方法配置的兜底处理。

RuntimeException:int age = 10/0,这个是java运行时报出的运行时异常,@SentinelResource不管。

总结:@SentinelResource主管配置出错,运行出错走正常的异常处理逻辑。

系统规则(总控-所有的uri的控制)

?系统保护规则是从应用级别的入口流量进行控制,从单台及其的load、CPU使用率、平均RT、入口QPS和并发线程数等几个维度监控应用指标,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

系统保护规则是应用整体维度的,而不是资源维度的,并且仅对入口流量生效。入口流量指的是进入应用的流量(EntryType.IN),比如Web服务或Dubbo服务端接收的请求,都属于入口流量。

系统规则支持以下的模式:

· Load自适应(仅对Linux/Unix-like机器生效):系统的load1作为启发指标,进行自适应系统保护。当系统load1超过设定的启发值,且系统当前的并发线程数超过估算的系统容量时才会触发系统保护(BBR阶段)。系统容量由系统的maxQps * minRt估算得出。设定参考值一般是CPU cores * 2.5。

· CPU usage(1.5.0+版本):当系统CPU使用率超过阈值即触发系统保护(取值范围0.0 - 1.0),比较灵敏。

· 平均RT:当单台机器上所有入口流量的平均RT达到阈值即触发系统保护,单位是毫秒。

· 并发线程数:当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。

· 入口QPS:当单台机器上所有入口流量的QPS达到阈值即触发系统保护。

自定义兜底方法(错误信息)

@GetMapping("/rateLimit/customerBlockHandler")
@SentinelResource(value = "customerBlockHandler",
        blockHandlerClass = CustomerBlockHandler.class,
        blockHandler = "handlerException2")
public CommonResult customerBlockHandler()
{
    return new CommonResult(200,"按客戶自定义",new Payment(2020L,"serial003"));
}


public class CustomerBlockHandler
{
    public static CommonResult handlerException(BlockException exception)
    {
        return new CommonResult(4444,"按客戶自定义,global handlerException----1");
    }
    public static CommonResult handlerException2(BlockException exception)
    {
        return new CommonResult(4444,"按客戶自定义,global handlerException----2");
    }
}

?@SentinelResource注解

注意:注解方式埋点不支持private方法。

?@SentinelResource用于定义资源,并提供可选的异常处理和fallback配置项。?@SentinelResource注解包含以下属性:

· value:资源名称、必需项(不能为空)。

· entryType:entry类型,可选项(默认为EntryType.OUT)。

· blockHandler / blockHandlerClass:blockHandler对应处理BlockException的函数名称,可选项。blockHandler函数访问范围需要是public,返回类型需要与原方法相匹配,参数类型需要和原方法相匹配并且最后加一个额外的参数,类型为BlockException。blockHandler函数默认需要和原方法在同一个类中。若希望使用其他类的函数,则可以指定blockHandlerClass为对应的类的Class对象,注意对应的函数必需为static函数,否则无法解析。

· fallback:fallback函数名称,可选项,用于在抛出异常的时候提供fallback处理逻辑。fallback函数可以针对所有类型的异常(除了exceptionToIgnore里面排除掉的异常类型)进行处理。fallback函数签名和位置要求:

① 返回值类型必须与原函数返回值类型一致。

② 方法参数列表需要和原函数一致,或者可以额外多一个Throwable类型的参数用于接收对应的异常。

③ 方法参数列表需要和原方法在同一个类中。若希望使用其他类的函数,则可以指定fallbackClass为对应的类的Class对象,注意对应的函数必需为static函数,否则无法解析。

· defaultFallback(since1.6.0):默认的fallback函数名称,可选项,通常用于通用的fallback逻辑(即可以用于很多服务或方法)。默认fallback函数可以针对所有类型的异常(除了exceptionsToIgnore里面排除掉的异常类型)进行处理。若同时配置了fallback和defaultFallback,则只有fallback会生效。defaultFallback函数签名要求:

① 返回值类型必须与原函数返回值类型一致。

② 方法参数列表需要为空,或者可以额外多一个Throwable类型的参数用于接收对应的异常。

ribbon、nacos、sentinel一起使用

@RequestMapping("/consumer/fallback/{id}")
//@SentinelResource(value = "fallback") //没有配置
//@SentinelResource(value = "fallback",fallback = "handlerFallback") //fallback只负责业务异常
//@SentinelResource(value = "fallback",blockHandler = "blockHandler") //blockHandler只负责sentinel控制台配置违规
//若blockHandler和fallback都进行了配置,则被限流降级而抛出BlockException时只会进入blockHandler处理逻辑。
@SentinelResource(value = "fallback",fallback = "handlerFallback",blockHandler = "blockHandler",
        exceptionsToIgnore = {IllegalArgumentException.class})
public CommonResult<Payment> fallback(@PathVariable Long id)
{
    CommonResult<Payment> result = restTemplate.getForObject(SERVICE_URL + "/paymentSQL/"+id,CommonResult.class,id);


    if (id == 4) {
        throw new IllegalArgumentException ("IllegalArgumentException,非法参数异常....");
    }else if (result.getData() == null) {
        throw new NullPointerException ("NullPointerException,该ID没有对应记录,空指针异常");
    }


    return result;
}
//本例是fallback
public CommonResult handlerFallback(@PathVariable  Long id,Throwable e) {
    Payment payment = new Payment(id,"null");
    return new CommonResult<>(444,"兜底异常handlerFallback,exception内容  "+e.getMessage(),payment);
}
//本例是blockHandler
public CommonResult blockHandler(@PathVariable  Long id,BlockException blockException) {
    Payment payment = new Payment(id,"null");
    return new CommonResult<>(445,"blockHandler-sentinel限流,无此流水: blockException  "+blockException.getMessage(),payment);
}

异常忽略

?feign

@FeignClient(value = "nacos-payment-provider",fallback = PaymentFallbackService.class)
public interface PaymentService
{
    @GetMapping(value = "/paymentSQL/{id}")
    public CommonResult<Payment> paymentSQL(@PathVariable("id") Long id);
}



@Component
public class PaymentFallbackService implements PaymentService
{
    @Override
    public CommonResult<Payment> paymentSQL(Long id)
    {
        return new CommonResult<>(44444,"服务降级返回,---PaymentFallbackService",new Payment(id,"errorSerial"));
    }
}


@GetMapping(value = "/consumer/paymentSQL/{id}")
public CommonResult<Payment> paymentSQL(@PathVariable("id") Long id)
{
    return paymentService.paymentSQL(id);
}
# 激活Sentinel对Feign的支持
feign:
  sentinel:
    enabled: true

sentinel、Hystrix、resilience4j的对比

sentinelHystrixresilience4j
隔离策略信号量隔离(并发线程数限流)线程池隔离/信号量隔离信号量隔离
熔断降级策略基于响应时间、异常比率、异常数基于异常比率基于异常比率、响应时间
实时统计实现滑动窗口(LeapArray)滑动窗口(基于RxJava)Ring Bit Buffer
动态规则配置支持多种数据源支持多种数据源有限支持
扩展性多个扩展点插件的形式接口的形式
基于注解的支持支持支持支持
限流基于QPS,支持基于调用关系的限流有限的支持Rate Limiter

持久化

服务重启后,sentinel在管理端的配置就会重置,所以需要持久化。

使用nacos做sentinel的持久化

<!--SpringCloud ailibaba sentinel-datasource-nacos 后续做持久化用到-->
<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
spring:
  application:
    name: cloudalibaba-sentinel-service
  cloud:
    nacos:
      discovery:
        server-addr: localhost:8848 #Nacos服务注册中心地址
    sentinel:
      transport:
        dashboard: localhost:8080 #配置Sentinel dashboard地址
        port: 8719
      datasource:
        ds1:
          nacos:
            server-addr: localhost:8848
            dataId: cloudalibaba-sentinel-service
            groupId: DEFAULT_GROUP
            data-type: json
            rule-type: flow

?

resource:资源名称。

limitApp:来源应用。

grade:阈值类型,0表示线程数,1表示QPS。

count:单机阈值。

strategy:流控模式,0表示直接,1表示关联,2表示链路。

controlBehavior:流控效果,0表示快速失败,1表示Warm Up,2表示排队等待。

clusterMode:是否集群。

?

?

  Java知识库 最新文章
计算距离春节还有多长时间
系统开发系列 之WebService(spring框架+ma
springBoot+Cache(自定义有效时间配置)
SpringBoot整合mybatis实现增删改查、分页查
spring教程
SpringBoot+Vue实现美食交流网站的设计与实
虚拟机内存结构以及虚拟机中销毁和新建对象
SpringMVC---原理
小李同学: Java如何按多个字段分组
打印票据--java
上一篇文章      下一篇文章      查看所有文章
加:2022-03-11 21:59:56  更:2022-03-11 22:00:22 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:43:03-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码