IT技术之家

首页 > 服务器

服务器

【第四阶段 day31】网关 负载均衡设计 断言(Predicate)分析 过滤器(Filter)分析 限流设计及实现_是九九鸭~

发布时间:2023-11-28 22:43:10 服务器 87次 标签:java 负载均衡 微服务
文章目录1.网关1.1 概述1.2 Spring Cloud Gateway优缺点1.3 入门案例1.3.1 创建sca-gateway模块,其pom.xml文件如下:1.3.2 创建application.yml,添加相关的配置1.3.3 创建项目启动类1.4 小结面试2.负载均衡设计2.1 Gateway中负载均衡的实现2.1.1 项目中添加服务发现依赖2.1.2 修改配置文件2.2 执行流程分析1.网关1.1 概述网关本质上要提供一个各种服务访问接口,并提供服务接收并转发所有内外部的客户端调用,...

文章目录

1.网关1.1 概述1.2 Spring Cloud Gateway优缺点1.3 入门案例1.3.1 创建sca-gateway模块,其pom.xml文件如下:1.3.2 创建application.yml,添加相关的配置1.3.3 创建项目启动类 1.4 小结面试 2.负载均衡设计2.1 Gateway中负载均衡的实现2.1.1 项目中添加服务发现依赖2.1.2 修改配置文件 2.2 执行流程分析*2.3 面试题 3.断言(Predicate)分析3.1 概述3.2 断言内置工厂3.3 谓词工厂3.3.1 基于Datetime类型的断言工厂3.3.2 基于header的断言工厂HeadRoutePredicateFactory3.3.3 基于Method请求方法的断言工厂3.3.4 基于Query请求参数的断言工厂 3.4 Predicate应用实践*3.5 面试题 4.过滤器(Filter)分析4.1 概述4.2 局部过滤器的设计与实现4.2.1 基于AddRequestHeaderGatewayFilterFactory,为原始请求添加Header4.2.2 基于AddRequestParameterGatewayFilterFactory,为原始请求添加请求参数及值4.2.3 基于PrefixPathGatewayFilterFactory,为原始的请求路径添加一个前缀路径4.2.4 基于RequestSizeGatewayFilterFactory,设置允许接收最大请求包的大小 4.3 全局过滤器的设计与实现*4.4 面试题 5.限流设计及实现5.1 概述5.2 入门5.2.1 添加依赖5.2.2 添加sentinel及路由规则5.2.1 启动网关项目,检测sentinel控制台的网关菜单 6.自定义API维度限流6.1 面试题

1.网关

1.1 概述

网关本质上要提供一个各种服务访问接口,并提供服务接收并转发所有内外部的客户端调用,还有就是权限认证,限流控制等等。Spring Cloud Gateway是Spring公司开发的一个网关组件,它旨在为微服务架构提供一种简单有效的统一的API接口,负责请求路由,组合及协议转换,并且基于Filter链的方式提供了权限认证,监控,限流等功能。

1.2 Spring Cloud Gateway优缺点

优点:

性能强劲:是第一代网关Zuul的1.6倍功能强大:内置了很多的功能,例如转发,监控,限流等等设计优雅,容易扩展

缺点:

依赖Netty与WebFlux,不是传统的Servlet模型需要Spring Boot2.0及以上的版本才支持

1.3 入门案例

通过网关作为服务的访问接口,对系统中的服务进行访问,例如通过网关服务去访问sca-provider服务

1.3.1 创建sca-gateway模块,其pom.xml文件如下:
<dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-gateway</artifactId>
 </dependency>
1.3.2 创建application.yml,添加相关的配置
server:
  port: 9000
spring:
  application:
    name: sca-gateway
  cloud:
    gateway:
        routes: #配置网关路由规则,是gateway中最基本的组件之一,表示一个具体的路由信息载体
          - id: route01  #路由id,自己指定一个唯一值即可。路由标识符,区别于其他的Route
            uri: http://localhost:8081/ #网关帮我们转发的url,路由指向的目的地,即客户端请求最终被转发到的微服务
            predicates: ###断言(谓此):匹配请求规则。进行条件判断,只有断言都返回真,才会执行路由
              - Path=/nacos/provider/echo/**  #请求路径定义,此路径对应uri中的资源
            filters: ##网关过滤器,用于对谓词中的内容进行判断分析以及处理。用于修改请求与响应信息
              - StripPrefix=1 #转发之前去掉path中第一层路径,例如nacos
1.3.3 创建项目启动类
package com.cy;

@SpringBootApplication
public class GatewayApplication {
    public static void main(String[] args) {
        SpringApplication.run(GatewayApplication.class,args);
    }
}

1.4 小结面试

什么是网关(服务访问、流量的一个接口,类似于“海关”)为什么使用网关(服务安全,统一服务入口管理,负载均衡,限流,鉴权)Spring Cloud Gateway应用去实现的的初始构建过程(添加依赖,配置)Gateway服务的启动底层是通过谁实现的(Netty网络编程框架-ServerSocket)Gateway服务做请求转发时一定要在注册中心进行注册吗(不一定,可以直接通过远程url进行访问)

2.负载均衡设计

网关才是服务访问的入口,所有服务都会在网关层面进行底层的映射,所以在访问服务时,要基于服务service id (服务名)去找相应的服务,让请求从网关层进行均衡转发,以平衡服务实例处理的能力

2.1 Gateway中负载均衡的实现

2.1.1 项目中添加服务发现依赖
<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
</dependency>
2.1.2 修改配置文件
server:
  port: 9000
spring:
  application:
    name: sca-gateway
  cloud:
    nacos:
      discovery:
        server-addr: localhost:8848
    gateway:
      discovery:
        locator:
          enabled: true  #开启通过服务注册中心的serviceId创建路由
      routes:
        - id: route01
          ##uri: http://localhost:8081/
          uri: lb://sca-provider # lb为服务前缀(负载均衡单词的缩写),不能随意写
          predicates: ###匹配规则
              - Path=/nacos/provider/echo/**
          filters:
              - StripPrefix=1 #转发之前去掉path中第一层路径,例如nacos

其中,lb指的是从nacos中按照名称获取微服务,并遵循负载负载策略。同时建议开发阶段打开gateway日志

2.2 执行流程分析

客户端向Spring Cloud Gateway发出请求。 如果Gateway Handler Mapping 通过断言predicates(predicates)的集合确定请求与路由(Routers)匹配,则将其发送到Gateway Web Handler。 Gateway Web Handler 通过确定的路由中所配置的过滤器集合链式调用过滤器(也就是所谓的责任链模式)。 Filter由虚线分隔的原因是, Filter可以在发送代理请求之前和之后运行逻辑。处理的逻辑是 在处理请求时 排在前面的过滤器先执行,而处理返回相应的时候,排在后面的过滤器先执行。

*2.3 面试题

网关层面是如何实现负载均衡的(通过服务名去查找具体的服务实例)网关层面是如何通过服务名查找服务实例的(Ribbon)Ribbon中有哪些负载均衡的算法(轮询,权重,hash。。。可以通过IRule接口进行查看分析)网关进行请求转发的流程是怎样,有哪些关键对象(XxxHandlerMapping,Handler)网关层面服务的映射方式(谓词-path,。。。,服务名、服务实例)网关层如何记录服务的映射(通过map,并要考虑读写锁的应用)

3.断言(Predicate)分析

3.1 概述

断言又叫谓词,用于条件判断,只有断言的结果为真,才会真正的执行路由。断言其本质就是定义路由转发的条件

3.2 断言内置工厂

Spring Cloud Gateway包括一些内置的断言工厂(所有工厂都直接或间接的实现了RoutePredicateFactory接口),这些断言或谓词工程负责创建谓词对象,并通过这些谓词对象判断http请求的合法性

3.3 谓词工厂

3.3.1 基于Datetime类型的断言工厂

此类型的断言根据时间做判断

1) AfterRoutePredicateFactory:判断请求日期是否晚于指定日期
2) BeforeRoutePredicateFactory:判断请求日期是否早于指定日期
3) BetweenRoutePredicateFactory:判断请求日期是否在指定时间段内

并且仅当请求的时间After配置的时间时,才转发该请求,若请求时的时间不是After的时间时,则会返回404 not found·。时间值可通过ZonedDateTime.now()获取

3.3.2 基于header的断言工厂HeadRoutePredicateFactory

判断请求Header是否具有给定名称且值与正则表达式匹配
-Header=X-Request-Id, \d+

3.3.3 基于Method请求方法的断言工厂

MethodRoutePredicateFactory接收一个参数,判断请求类型是否跟指定的类型匹配。例如:

-Method=GET

3.3.4 基于Query请求参数的断言工厂

QueryRoutePredicateFactory接收两个参数,请求Param和正则表达式,判断请求参数是否具有给定名称且值与正则表达式匹配

3.4 Predicate应用实践

当条件不满足时,则无法进行路由转发,会出现404异常

server:
  port: 9000
spring:
  application:
    name: sca-gateway
  cloud:
    nacos:
      server-addr: localhost:8848
    gateway:
      discovery:
        locator:
          enabled: true #开启通过服务中心的serviceId 创建路由的功能
      routes:
        - id: bd-id
          ##uri: http://localhost:8081/
          uri: lb://sca-provider
          predicates: ###匹配规则
              - Path=/nacos/provider/echo/**
              - Before=2021-01-30T00:00:00.000+08:00
              - Method=GET
          filters:
            -  StripPrefix=1 # 转发之前去掉1层路径

*3.5 面试题

什么是谓词(网关中封装了判断逻辑的一个对象)谓词逻辑的设计?(谓词判断逻辑返回值为true则进行请求转发)有哪些谓词逻辑(path,请求参数,请求方式,请求头。。。)可以自定义谓词工厂对象吗(可以)

4.过滤器(Filter)分析

4.1 概述

过滤器就是在请求传递的过程中,对请求和响应的一个处理。Gateway的Filter从作用范围可以分为:

GatewayFilter:应用到单个路由或者一个分组路由上GlobalFilter:应用到所有路由上

4.2 局部过滤器的设计与实现

4.2.1 基于AddRequestHeaderGatewayFilterFactory,为原始请求添加Header

为原始请求添加名为X-Request-Foo, 值为Bar的请求头:

spring:
  cloud:
    gateway:
      routes:
        - id: add_request_header_route
          uri: https://example.org
          filters:
            - AddRequestHeader=X-Request-Foo, Bar
4.2.2 基于AddRequestParameterGatewayFilterFactory,为原始请求添加请求参数及值

为原始请求添加名为foo,值为bar的参数,即:foo=bar

spring:
  cloud:
    gateway:
      routes:
        - id: add_request_parameter_route
          uri: https://example.org
          filters:
            - AddRequestParameter=foo, bar

4.2.3 基于PrefixPathGatewayFilterFactory,为原始的请求路径添加一个前缀路径

该配置使访问${GATEWAY_URL}/hello 会转发到uri/mypath/hello

spring:
  cloud:
    gateway:
      routes:
        - id: prefixpath_route
          uri: https://example.org
          filters:
            - PrefixPath=/mypath

4.2.4 基于RequestSizeGatewayFilterFactory,设置允许接收最大请求包的大小

如果请求包大小超过设置的值,则会返回413 Payload Too Large以及一个errorMessage

spring:
  cloud:
    gateway:
      routes:
        - id: request_size_route
      uri: http://localhost:8080/upload
      predicates:
        - Path=/upload
      filters:
        - name: RequestSize
          args:
            # 单位为字节
            maxSize: 5000000

4.3 全局过滤器的设计与实现

全局过滤器(GlobalFilter)作用于所有路由, 无需配置。在系统初始化时加载,并作用在每个路由上。通过全局过滤器可以实现对权限的统一校验,安全性验证等功能。一般内置的全局过滤器已经可以完成大部分的功能,但是对于企业开发的一些业务功能处理,还是需要我们 自己编写过滤器来实现的,那么我们一起通过代码的形式自定义一个过滤器,去完成统一的权限校验。 例如,当客户端第一次请求服务时,服务端对用户进行信息认证(登录), 认证通过,将用户信息进行加密形成token,返回给客户端,作为登录凭证 以后每次请求,客户端都携带认证的token 服务端对token进行解密,判断是否有效。学过spring中的webflux技术的同学可以对如下代码进行尝试实现(没学过的可以忽略).

package com.cy.filters;

import org.springframework.cloud.gateway.filter.GatewayFilterChain;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.core.Ordered;
import org.springframework.http.HttpStatus;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import reactor.core.publisher.Mono;
@Component
public class AuthGlobalFilter implements GlobalFilter, Ordered {
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        String username=exchange.getRequest()
                .getQueryParams().getFirst("username");
        if (!"admin".equals(username)) {
            System.out.println("认证失败");
            exchange.getResponse().setStatusCode(HttpStatus.UNAUTHORIZED);
            return exchange.getResponse().setComplete();
        }
        //调用chain.filter继续向下游执行
        return chain.filter(exchange);

    }

    @Override
    public int getOrder() {
        return 0;
    }
}

*4.4 面试题

网关过滤器的作用是什么(对请求和响应数据做一个预处理)网关过滤器的类型有哪些(局部过滤器,全局过滤器)如果理解局部过滤器(针对具体链路的应用的过滤器,需要进行配置)如何理解全局过滤器(作用于所有请求链路)如何自定义全局过滤器(直接或间接实现GlobalFilter接口)

5.限流设计及实现

5.1 概述

网关是所有外部请求的公共入口,所以可以在网关进行限流,而且限流的方式也很多,我们采用Sentinel组件来实现网关的限流。Sentinel支持对Spring Cloud Gateway,Zuul等主流网关进行限流

5.2 入门

5.2.1 添加依赖

在原有的spring-cloud-starter-gateway依赖的基础上再添加如下两个依赖

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId>
</dependency>

5.2.2 添加sentinel及路由规则
routes:
  - id: route01
    uri: lb://sca-provider
    predicates: ###匹配规则
      - Path=/provider/echo/**
sentinel:
  transport:
    dashboard: localhost:8180 #Sentinel 控制台地址
  eager: true  #取消Sentinel控制台懒加载,即项目启动即连接
5.2.1 启动网关项目,检测sentinel控制台的网关菜单

启动时,添加sentinel的jvm参数,通过此菜单可以让网关服务在sentinel控制台显示不一样的菜单

-Dcsp.sentinel.app.type=1

6.自定义API维度限流

自定义API分组,是一种更细粒度的限流规则定义,它允许我们利用sentinel提供的API,将请求路径进行分组,然后在组上设置限流规则

6.1 面试题

网关层面结合sentinel实现限流,其限流的类型有几种(两种-route id,api)网关层面可以自定义限流后的异常处理结果吗(可以)sentinel底层限流的算法(滑动窗口,令牌桶,漏斗)