第六章 服务熔断降级 --Sentinel

6-1 高并发带来的问题

        在微服务架构中,我们将业务拆分成一个个的服务,服务与服务之间可以相互调用,但是由于网络原因或者服务器自身的原因,服务并不能保证服务的100%可用,如果单个服务出现问题,调用这个服务就会出现网络延迟,此时若有大量的网络涌入,会形成任务堆积,最终导致服务瘫痪。

接下来,我们来模拟一个高并发的场景

1. 在订单服务中新建SentinelController.java

2. 修改配置文件中tomcat的并发数(applicaiton.yml) 默认tomcat最大的线程数是200 修改为10

3. 接下来使用压测工具,对请求进行压力测试

第一步:修改配置,并启动软件

        进入bin目录,修改jmeter.properties文件中的语言支持为language=zh_CN,然后点击 jmeter.bat 启动软件。

第二步:添加线程组

第三步:配置线程并发数

第四步:添加Http请求

第五步:配置取样,并启动测试

第六步:访问 http://localhost:8091/sentinel2 观察结果(由于我配置了spring cloud gateway 微服务网关所以路由不一致但其实是一样的)

视频:https://t.bilibili.com/1110927028104724482?share_source=pc_nativehttps://t.bilibili.com/1110927028104724482?share_source=pc_native通过视频发现:

  1. 在没有发生高并发的情况下,访问sentinel1和sentinel2资源都不会出现加载不出来的情况
  2. 1000个sentinel1请求发送到tomcat最大线程数为10的服务器,每个请求都要消耗一秒钟
  3. 此时在往sentinel2发送请求会发现该路由会一直转圈圈加载不出

结论:此时会发现, 由于sentinel1方法囤积了大量请求, 导致sentinel2方法的访问出现了问题,这就 是服务雪崩的雏形

6-2 服务器雪崩效应

在分布式系统中,由于网络原因或自身的原因,服务一般无法保证 100% 可用。如果一个服务出现 了 问题,调用这个服务就会出现线程阻塞的情况,此时若有大量的请求涌入,就会出现多条线程阻塞 等 待,进而导致服务瘫痪。 由于服务与服务之间的依赖性,故障会传播,会对整个微服务系统造成灾难性的严重后果,这 就是 服务故障的 “雪崩效应” 。

情景1: 微服务之间相互调用,关系复杂,正常情况如下图所示:

情景2:某个时刻,服务A挂了,服务B和服务C依然在调用服务A

情景3:由于服务A挂了,导致服务C和服务B无法得到服务A的响应,这时候服务C和服务B由于大 量线程积压,最终导致服务C和服务B挂掉

情景4: 相同道理,由于服务之间有关联,所以会导致整个调用链上的所有服务都挂掉.

        服务器的雪崩效应其实就是由于某个微小的服务挂了,导致整一大片的服务都不可用.类似生活中 的雪崩效应,由于落下的最后一片雪花引发了雪崩的情况. 雪崩发生的原因多种多样,有不合理的容量设计,或者是高并发下某一个方法响应变慢,亦或 是某 台机器的资源耗尽。我们无法完全杜绝雪崩源头的发生,只有做好足够的容错,保证在一个服务发 生问 题,不会影响到其它服务的正常运行。

6-3 常见容错方案

要防止雪崩的扩散,我们就要做好服务的容错,容错说白了就是保护自己不被猪队友拖垮的一些措 施, 下面介绍常见的服务容错思路和组件。

常见的容错思路 常见的容错思路有隔离、超时、限流、熔断、降级这几种,下面分别介绍一下。

6.3.1 隔离机制:

        比如服务A内总共有100个线程, 现在服务A可能会调用服务B,服务C,服务D.我们在服务A 进行远程调用的时候,给不同的服务分配固定的线程,不会把所有线程都分配给某个微服务. 比如调 用服务B分配30个线程,调用服务C分配30个线程,调用服务D分配40个线程. 这样进行资源的隔 离,保证即使下游某个服务挂了,也不至于把服务A的线程消耗完。比如服务B挂了,这时候最多 只会占用服务A的30个线程,服务A还有70个线程可以调用服务C和服务D.

6.3.2 超时机制

在上游服务调用下游服务的时候,设置一个最大响应时间,如果超过这个时间,下游未 作出反应,就断开请求,释放掉线程。

6.3.3 限流机制

限流就是限制系统的输入和输出流量已达到保护系统的目的。为了保证系统的稳固运行, 一旦达到 的需要限制的阈值,就需要限制流量并采取少量措施以完成限制流量的目的。

6.3.4 熔断机制

 在互联网系统中,当下游服务因访问压力过大而响应变慢或失败,上游服务为了保护系 统整 体的可用性,可以暂时切断对下游服务的调用。这种牺牲局部,保全整体的措施就叫做熔断。

服务熔断一般有三种状态:

熔断关闭状态(Closed) 服务没有故障时,熔断器所处的状态,对调用方的调用不做任何限制

熔断开启状态(Open) 后续对该服务接口的调用不再经过网络,直接执行本地的fallback方法

半熔断状态(Half-Open) 尝试恢复服务调用,允许有限的流量(我了解的是发送一次请求好使就关闭熔断状态,还是不好使那就开启熔断状态)调用该服务,并监控调用成功率。如果成功率达到预 期,则说明服务已恢复,进入熔断关闭状态;如果成功率仍旧很低,则重新进入熔断关开启状态。

6.3.5 降级机制

降级其实就是为服务提供一个兜底方案,一旦服务无法正常调用,就使用兜底方案。

6-4 常见的容错组件(本人学习的就是Sentinel)

Hystrix

        Hystrix是由Netflix开源的一个延迟和容错库,用于隔离访问远程系统、服务或者第三方库,防止 级联失败,从而提升系统的可用性与容错性。

Resilience4J

        Resilicence4J一款非常轻量、简单,并且文档非常清晰、丰富的熔断工具,这也是Hystrix官方推 荐的替代产品。不仅如此,Resilicence4j还原生支持Spring Boot 1.x/2.x,而且监控也支持和 prometheus等多款主流产品进行整合。

Sentinel

        Sentinel 是阿里巴巴开源的一款断路器实现,本身在阿里内部已经被大规模采用,非常稳定。

6-5 Sentinel入门

6.5.1 什么是Sentinel

        Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量 为切入点, 从流量控制、熔断降级、系统负载保护以及实时监控等多个维度来保护服务的稳定性

6.5.2 Sentinel的特征

丰富的应用场景:Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景(足以说明Sentinel的牛逼), 例如秒杀(即 突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用 应用等。

完备的实时监控:Sentinel 提供了实时的监控功能。通过控制台可以看到接入应用的单台机器秒 级数据, 甚至 500 台以下规模的集群的汇总运行情况。

广泛的开源生态:Sentinel 提供开箱即用的与其它开源框架/库的整合模块, 例如与 Spring Cloud、Dubbo、gRPC 的整合。只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。

6-6 Sentinel的组成

6.6.1 Sentinel分为两个部分

核心库(Java 客户端)不依赖任何框架/库,能够运行于所有 Java 运行时环境,同时对 Dubbo / Spring Cloud 等框架也有较好的支持。如下两张图是我对其应用的简单理解

控制台(Dashboard)基于 Spring Boot 开发,打包后可以直接运行,不需要额外的 Tomcat 等 应用容器。

6.6.2 订单微服务集成Sentinel

为微服务集成Sentinel非常简单, 只需要加入Sentinel的依赖即可 在shop-order-server项目的pom文件中添加如下依赖

<!--sentinel组件-->
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

6.6.3 安装Sentinel控制台    

Sentinel 提供一个轻量级的控制台, 它提供机器发现、单机资源实时监控以及规则管理等功能。 

1. 下载jar包https://github.com/alibaba/Sentinel/releases   

2. 启动控制台

# 直接使用jar命令启动项目(控制台本身是一个SpringBoot项目)
java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -
Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.5.jar

3. 修改shop-order-server项目中的配置文件application.yml,新增如下配置:

spring:
 cloud:
  sentinel:
   transport:
    port: 9999 #跟控制台交流的端口,随意指定一个未使用的端口即可
    dashboard: localhost:8080 # 指定控制台服务的地址

4. 通过浏览器访问localhost:8080 进入控制台 ( 默认用户名密码是 sentinel/sentinel ) 注意: 默认是没显示order的,需要访问几次接口,然后再刷新sentinel管控台才可以看到

6.6.4 实现一个接口的限流

第一步: 簇点链路--->流控

第二步: 在单机阈值填写一个数值,表示每秒上限的请求数(QPS)

第三步:通过控制台快速频繁访问, 观察效果(一秒内疯狂F5)

最原始的模样

经过处理后

6.6.5 Sentinel容错的维度

流量控制:流量控制在网络传输中是一个常用的概念,它用于调整网络包的数据。任意时间到来的请求 往往是 随机不可控的,而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。

熔断降级:当检测到调用链路中某个资源出现不稳定的表现,例如请求响应时间长或异常比例升高的时候,则对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联故障。

系统负载保护:Sentinel 同时提供系统维度的自适应保护能力。当系统负载较高的时候,如果还持续让请求进入可能会导致系统崩溃,无法响应。在集群环境下,会把本应这台机器承载的流量转发到其 它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候,Sentinel 提供了对应的保护机制,让系统的入口流量和系统的负载达到一个平衡,保证系统在能力范围之内处理最多的请求。

6.6.6 Sentinel规则种类

6-7 Sentinel规则-流控

6.7.1 流控规则

流量控制,其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标,当达到指定的阈值时 对流量进行控制,以避免被瞬时的流量高峰冲垮,从而保障应用的高可用性。

资源名:唯一名称,默认是请求路径,可自定义

针对来源:指定对哪个微服务进行限流,默认指default,意思是不区分来源,全部限制

阈值类型/单机阈值:

        QPS(每秒请求数量): 当调用该接口的QPS达到阈值的时候,进行限流

        线程数:当调用该接口的线程数达到阈值的时候,进行限流 是否集群:暂不需要集群

6.7.1.1 QPS流控

        前面6.6.4案例就是演示的QPS流控

6.7.1.2 线程数流控

         删除掉之前的QPS流控,新增线程数流控

        使用jmeter测试 线程数超过阈值开启限流

访问地址http://localhost:9000/o/sentinel2发现限流

6.7.2 流控模式

点击上面设置流控规则的编辑按钮,然后在编辑页面点击高级选项,会看到有流控模式一栏

sentinel共有三种流控模式,分别是:

  • 直接(默认):接口达到限流条件时,开启限流
  • 关联:当关联的资源达到限流条件时,开启限流 [适合做应用让步]
  • 链路:当从某个接口过来的资源达到限流条件时,开启限流
6.7.2.1 直接流控模式

前面演示的案例就是这种.

6.7.2.2 关联流控模式

关联流控模式指的是,当指定接口关联的接口达到限流条件时,开启对指定接口开启限流。

场景:当两个资源之间具有资源争抢或者依赖关系的时候,这两个资源便具有了关联。假如有这么一个网站有两种用户一种是普通用户另一种是VIP用户,如果普通用户请求太多那么给普通用户限流,如果VIP用户的请求太多,还是给普通用户限流,这就是关联流控模式

    @RequestMapping("/vip")
    public String vip() {
        return "vip";
    }

    @RequestMapping("/comm")
    public String comm() {
        return "comm";
    }

场景1:comm请求过多,comm限流,VIP不限流

场景2:VIP请求过多,comm限流,VIP还是不限流(这就是充钱使我强大)

6.7.2.3 链路流控模式

链路流控模式指的是,当从某个接口过来的资源达到限流条件时,开启限流。

场景:

1. 在shop-order-server项目中新增TraceService.java 默认情况下,TraceService的方法是不被Sentinel监控的,需要我们通过注解@SentinelResource来标记要监控的方 法。

@Service
public class TraceService {
    //该注解声明的方法代表是sentinel资源,并给资源取名为vipResource
    @SentinelResource("vipResource")
    public void vipResource(){
        System.out.println("我是重要的VIP资源");
    }
}

2.在SentinelController.java中增加3个方法,这3个方法都调用了Sentinel资源

    @Autowired
    private TraceService traceService;
    @RequestMapping("/trace1")
    public String trace1(){
        traceService.vipResource();
        return "trace1";
    }

    @RequestMapping("/trace2")
    public String trace2(){
        traceService.vipResource();
        return "trace2";
    }
    @RequestMapping("/trace3")
    public String trace3(){
        traceService.vipResource();
        return "trace3";
    }

3. 链路模式中,是针对不同的多个链路做监控。但是sentinel默认会给进入SpringMVC的所有请求设 置同一个root资源,会导致链路模式失效。我们需要关闭这种资源聚合。在shop-order-server项 目的application.yml文件中新增如下配置:

spring:
 cloud:
  sentinel:
   web-context-unify: false

4. 重新启动订单服务并添加链路流控规则

5. 分别通过 /trace1和 /trace2和/trace3访问, 发现/trace1和/trace3没问题, /trace2的被限流了

6.7.3 流控效果

快速失败(默认): 直接失败,抛出异常,不做任何额外的处理,是最简单的效果

Warm Up(预热):它从开始阈值到最大QPS阈值会有一个缓冲阶段,一开始的阈值是最大QPS阈值的 1/3,然后慢慢增长,直到最大阈值,适用于将突然增大的流量转换为缓步增长的场景。

排队等待:让请求以均匀的速度通过,单机阈值为每秒通过数量,其余的排队等待; 它还会让设 置一个超时时间,当请求超过超时间时间还未处理,则会被丢弃。

6-8 Sentinel规则-降级

降级规则就是设置当满足什么条件的时候,对服务进行降级。Sentinel提供了三个衡量条件:

6.8.1降级衡量条件

慢调用比例

        选择以慢调用比例作为阈值,需要设置允许的慢调用 RT(即最大的响应时间),请求 的响应时间大于该值则统计为慢调用。当单位统计时长内请求数目大于设置的最小请求数目,并且 慢调用的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入 探测恢复状态(HALF-OPEN 状态),若接下来的一个请求响应时间小于设置的慢调用 RT 则结束 熔断,若大于设置的慢调用 RT 则会再次被熔断。

异常比例

        当单位统计时长内请求数目大于设置的最小请求数目,并且异常的比例大于阈值,则接 下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求成功完成(没有错误)则结束熔断,否则会再次被熔断。异常比率的 阈值范围是 [0.0, 1.0] ,代表 0% - 100%。

异常数

        当单位统计时长内的异常数目超过阈值之后会自动进行熔断。经过熔断时长后熔断器会进 入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求成功完成(没有错误)则结束熔断, 否则会再次被熔断。

6.8.2 慢调用比例案例

1.调用一次模拟耗时1秒

2.新增降级规则

上面配置表示,如果在1S之内,有【超过1个的请求】且这些请求中【响应时间>最大RT】的【请求 数量比例>10%】,就会触发熔断,在接下来的10s之内都不会调用真实方法,直接走降级方法。

比如: 最大RT=900,比例阈值=0.1,熔断时长=10,最小请求数=10

  • 情况1: 1秒内的有20个请求,只有10个请求响应时间>900ms, 那慢调用比例=0.5,这种情况 就会触发熔断
  • 情况2: 1秒内的有20个请求,只有1个请求响应时间>900ms, 那慢调用比例=0.05,这种情况 不会触发熔断
  • 情况3: 1秒内的有8个请求,只有6个请求响应时间>900ms, 那慢调用比例=0.75,这种情况不 会触发熔断,因为最小请求数这个条件没有满足.

注意: 我们做实验的时候把最小请求数设置为1,因为在1秒内,手动操作很难在1s内发两个请求过 去,所以要做出效果,最好把最小请求数设置为1。

Jmeter测试界面

最终访问sentinel1资源

6.8.3 异常比例案例

1.模拟异常比例为33%(根据i的变化来判断 每调用一次资源 i+1 所以说:当i的值为3的倍数出现异常)

2.新增降级规则

上面配置表示,在1s之内,有【超过3个的请求】,异常比例30%的情况下,触发熔断,熔断时长 为10s.

3.访问/fallBack2资源

6.8.4 异常数案例

1.新增fallBack3方法

2.新增降级规则

上面配置表示,在1s之内,有【超过3个的请求】,请求中超过2个请求出现异常就会触发熔断, 熔断时长为10s

3.访问fallBack3资源name=dh

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐