IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 乐优商城(10)--数据同步 -> 正文阅读

[大数据]乐优商城(10)--数据同步

乐优商城(10)–数据同步

一、RabbitMQ

1.1、问题分析

目前已经完成了商品详情和搜索系统的开发。思考一下,是否存在问题?

  • 商品的原始数据保存在数据库中,增删改查都在数据库中完成。
  • 搜索服务数据来源是索引库,如果数据库商品发生变化,索引库数据不能及时更新。
  • 商品详情做了页面静态化,静态页面数据也不会随着数据库商品发生变化。

如果在后台修改了商品的价格,搜索页面和商品详情页显示的依然是旧的价格,这样显然不对。该如何解决?

这里有两种解决方案:

  • 方案1:每当后台对商品做增删改操作,同时要修改索引库数据及静态页面
  • 方案2:搜索服务和商品页面服务对外提供操作接口,后台在商品增删改后,调用接口

以上两种方式都有同一个严重问题:就是代码耦合,后台服务中需要嵌入搜索和商品页面服务,违背了微服务的独立原则。

所以,这里通过另外一种方式来解决这个问题:消息队列

1.2、消息队列(MQ)

什么是消息队列

消息队列,即MQ,Message Queue。

在这里插入图片描述

消息队列是典型的:生产者、消费者模型。生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,这样就实现了生产者和消费者的解耦。

结合前面所说的问题:

  • 商品服务对商品增删改以后,无需去操作索引库或静态页面,只是发送一条消息,也不关心消息被谁接收。
  • 搜索服务和静态页面服务接收消息,分别去处理索引库和静态页面。

如果以后有其它系统也依赖商品服务的数据,同样监听消息即可,商品服务无需任何代码修改。

AMQP和JMS

MQ是消息通信的模型,并不是具体实现。现在实现MQ的有两种主流方式:AMQP、JMS。

在这里插入图片描述

在这里插入图片描述

两者间的区别和联系:

  • JMS是定义了统一的接口,来对消息操作进行统一;AMQP是通过规定协议来统一数据交互的格式
  • JMS限定了必须使用Java语言;AMQP只是协议,不规定实现方式,因此是跨语言的。
  • JMS规定了两种消息模型;而AMQP的消息模型更加丰富

常见MQ产品

  • ActiveMQ:基于JMS
  • RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好
  • RocketMQ:基于JMS,阿里巴巴产品,目前交由Apache基金会
  • Kafka:分布式消息系统,高吞吐量

RabbitMQ

RabbitMQ是基于AMQP的一款消息管理系统

官网: http://www.rabbitmq.com/

官方教程:http://www.rabbitmq.com/getstarted.html

  • RabbitMQ是一个开源的、在AMQP基础上完整的、可复用的企业消息系统
  • 支持主流的操作系统,Linux、Windows、MacOS等
  • 多种开发语言支持,Java、Python、Ruby、.NET、PHP、C/C++、node.js等
  • (按理说应该采用RocketMQ,但未学习0.0)

1.3、下载和安装

下载

官网下载地址:http://www.rabbitmq.com/download.html

安装

  1. 安装Erlang环境

    yum -y install epel-release
    #使用以下命令安装Erlang
    yum -y install erlang socat
    #使用以下命令检查Erlang版本
    erl -version
    
  2. 将安装包上传至/usr/local/leyou目录下的rabbitmq目录

    cd /usr/local/leyou
    mkdir rabbitmq
    cd rabbitmq
    
  3. 输入命令安装:

    rpm -ivh rabbitmq-server-3.4.1-1.noarch.rpm
    
  4. 将配置文件模板复制到etc目录:

    cp /usr/share/doc/rabbitmq-server-3.4.1/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
    
  5. 通过vim命令编辑:

    vim /etc/rabbitmq/rabbitmq.config
    #注意要去掉后面的逗号
    

    在这里插入图片描述

  6. 启动命令

    service rabbitmq-server start
    service rabbitmq-server stop
    service rabbitmq-server restart
    
  7. 开启web管理界面,RabbitMQ提供了用来管理的控制界面,十分方便,不过默认是关闭的。

    通过命令开启web管理插件:

    rabbitmq-plugins enable rabbitmq_management
    

    然后重启RabbitMQ:

    service rabbitmq-server restart
    
  8. 记得开放阿里云端口5672和15672

登录管理界面

第一次访问需要登录,默认的账号密码为:guest/guest

在这里插入图片描述

  • Connections:无论生产者还是消费者,都需要与RabbitMQ建立连接后才可以完成消息的生产和消费,在这里可以查看连接情况
  • Channels:通道,建立连接后,会形成通道,消息的投递获取依赖通道。
  • Exchanges:交换机,用来实现消息的路由
  • Queues:队列,即消息队列,消息存放在队列中,等待消费,消费后被移除队列。
  1. 添加用户

    在这里插入图片描述

上面的Tags选项,其实是指定用户的角色,可选的有以下几个:

  • 超级管理员(administrator)

    可登陆管理控制台,可查看所有的信息,并且可以对用户,策略(policy)进行操作。

  • 监控者(monitoring)

    可登陆管理控制台,同时可以查看rabbitmq节点的相关信息(进程数,内存使用情况,磁盘使用情况等)

  • 策略制定者(policymaker)

    可登陆管理控制台, 同时可以对policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)。

  • 普通管理者(management)

    仅可登陆管理控制台,无法看到节点信息,也无法对策略进行管理。

  • 其他

    无法登陆管理控制台,通常就是普通的生产者和消费者。

  1. 创建虚拟主机(Virtual Hosts)

    为了让各个用户可以互不干扰的工作,RabbitMQ添加了虚拟主机(Virtual Hosts)的概念。其实就是一个独立的访问路径,不同用户使用不同路径,各自有自己的队列、交换机,互相不会影响。

    在这里插入图片描述

    创建好虚拟主机,还要给用户添加访问权限:

    点击添加好的虚拟主机:

    在这里插入图片描述

    进入虚拟主机设置界面:

    在这里插入图片描述

  2. 最终结果

    在这里插入图片描述

二、五种消息模型

具体了解可以导入Demo工程,这里简单介绍下各模型的特点

2.1、基本消息模型

在这里插入图片描述

官方介绍:

在这里插入图片描述

RabbitMQ是一个消息代理:它接受和转发消息。 你可以把它想象成一个邮局:当你把邮件放在邮箱里时,你可以确定邮差先生最终会把邮件发送给你的收件人。 在这个比喻中,RabbitMQ是邮政信箱,邮局和邮递员。

RabbitMQ与邮局的主要区别是它不处理纸张,而是接受,存储和转发数据消息的二进制数据块。

在这里插入图片描述

P(producer/ publisher):生产者,一个发送消息的用户应用程序。

C(consumer):消费者,消费和接收有类似的意思,消费者是一个主要用来等待接收消息的用户应用程序

队列(红色区域):rabbitmq内部类似于邮箱的一个概念。虽然消息流经rabbitmq和你的应用程序,但是它们只能存储在队列中。队列只受主机的内存和磁盘限制,实质上是一个大的消息缓冲区。许多生产者可以发送消息到一个队列,许多消费者可以尝试从一个队列接收数据。

总之:

生产者将消息发送到队列,消费者从队列中获取消息,队列是存储消息的缓冲区。

消息确认机制(ACK)

  • 自动ACK:消息一旦被接收,消费者自动发送ACK
  • 手动ACK:消息接收后,不会发送ACK,需要手动调用

2.2、work消息模型

工作队列或者竞争消费者模式

在这里插入图片描述

在基本消息模型中,从一个命名队列中发送并接受消息。该模型中,将创建一个工作队列,在多个工作者之间分配耗时任务。

工作队列,又称任务队列。主要思想就是:尽可能的减少执行资源密集型任务时的等待时间。将任务封装为消息并发送到队列,在后台的工作进程将弹出任务并进行作业。当运行很多worker时,任务将在它们之间共享。

这个概念在Web应用程序中特别有用,因为在短的HTTP请求窗口中无法处理复杂的任务。

面试题:如何避免消息堆积?

1) 采用workqueue,多个消费者监听同一队列。

2)接收到消息以后,通过线程池,异步消费。

2.3、订阅模型分类

订阅模型示意图:

在这里插入图片描述

解读:

1、1个生产者,多个消费者

2、每一个消费者都有自己的一个队列

3、生产者没有将消息直接发送到队列,而是发送到了交换机

4、每个队列都要绑定到交换机

5、生产者发送的消息,经过交换机到达队列,实现一个消息被多个消费者获取的目的

X(Exchanges):交换机一方面:接收生产者发送的消息。另一方面:知道如何处理消息,例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作,取决于Exchange的类型。

Exchange类型有以下几种:

Fanout:广播,将消息交给所有绑定到交换机的队列

Direct:定向,把消息交给符合指定routing key 的队列 

Topic:通配符,把消息交给符合routing pattern(路由模式) 的队列

Exchange(交换机)只负责转发消息,不具备存储消息的能力,因此如果没有任何队列与Exchange绑定,或者没有符合路由规则的队列,那么消息会丢失!

2.4、订阅模型-Fanout

Fanout,也称为广播。

流程图:

在这里插入图片描述

在广播模式下,消息发送流程是这样的:

  • 1) 可以有多个消费者
  • 2) 每个消费者有自己的queue(队列)
  • 3) 每个队列都要绑定到Exchange(交换机)
  • 4) 生产者发送的消息,只能发送到交换机,交换机来决定要发给哪个队列,生产者无法决定。
  • 5) 交换机把消息发送给绑定过的所有队列
  • 6) 队列的消费者都能拿到消息。实现一条消息被多个消费者消费

2.5、订阅模型-Direct

有选择性的接收消息

在订阅模式中,生产者发布消息,所有消费者都可以获取所有消息。

在路由模式中,添加了一个功能 - -只能订阅一部分消息。 例如,将重要的错误消息引导到日志文件(以节省磁盘空间),但同时仍然能够在控制台上打印所有日志消息。

但是,在某些场景下,会希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。

在Direct模型下,队列与交换机的绑定,不能是任意绑定了,而是要指定一个RoutingKey(路由key)

消息的发送方在向Exchange发送消息时,也必须指定消息的routing key。

在这里插入图片描述

P:生产者,向Exchange发送消息,发送消息时,会指定一个routing key。

X:Exchange(交换机),接收生产者的消息,然后把消息递交给 与routing key完全匹配的队列

C1:消费者,其所在队列指定了需要routing key 为 error 的消息

C2:消费者,其所在队列指定了需要routing key 为 info、error、warning 的消息

2.6、订阅模型-Topic

Topic类型的ExchangeDirect相比,都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符!

Routingkey 一般都是有一个或多个单词组成,多个单词之间以”.”分割,例如: item.insert

通配符规则:

`#`:匹配一个或多个词

`*`:匹配不多不少恰好1个词

举例:

`audit.#`:能够匹配`audit.irs.corporate` 或者 `audit.irs`

`audit.*`:只能匹配`audit.irs`

在这里插入图片描述

持久化

如何避免消息丢失?

1) 消费者的ACK机制。可以防止消费者丢失消息。

2) 但是,如果在消费者消费之前,MQ就宕机了,消息就没了。

要将消息持久化,前提是:队列、Exchange都持久化

2.7、总结

生产者:

获取连接

Connection connection = ConnectionUtil.getConnection();

获取通道

Channel channel = connection.createChannel();

模型选择

如果是基本消息模型和work消息模型,那么就需要声明一个队列,然后将信息发布到队列当中,因为消费者是直接在队列里面拿信息

 channel.queueDeclare("队列名字", false, false, false, null);

queueDeclare的源码:

    public com.rabbitmq.client.AMQP.Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments) throws IOException {
        com.rabbitmq.client.AMQP.Queue.DeclareOk ok = this.delegate.queueDeclare(queue, durable, exclusive, autoDelete, arguments);
        RecordedQueue q = (new RecordedQueue(this, ok.getQueue())).durable(durable).exclusive(exclusive).autoDelete(autoDelete).arguments(arguments);
        if (queue.equals("")) {
            q.serverNamed(true);
        }
 
        this.recordQueue((com.rabbitmq.client.AMQP.Queue.DeclareOk)ok, q);
        return ok;
    }

参数解释:

  • queue: 队列名称

  • durable: 是否持久化, 队列的声明默认是存放到内存中的,如果rabbitmq重启会丢失,如果想重启之后还存在就要使队列持久化,保存到Erlang自带的Mnesia数据库中,当rabbitmq重启之后会读取该数据

  • exclusive:是否排外的,有两个作用:

    • 当连接关闭时connection.close()该队列是否会自动删除;
    • 该队列是否是私有的private,如果不是排外的,可以使用两个消费者都访问同一个队列,没有任何问题,如果是排外的,会对当前队列加锁,其他通道channel是不能访问的,如果强制访问会报异常:com.rabbitmq.client.ShutdownSignalException一般等于true的话用于一个队列只能有一个消费者来消费的场景
  • autoDelete:是否自动删除,当最后一个消费者断开连接之后队列是否自动被删除,可以通过RabbitMQ Management,查看某个队列的消费者数量,当consumers = 0时队列就会自动删除

  • arguments: 队列中的消息什么时候会自动被删除?

    • Message TTL(x-message-ttl):设置队列中的所有消息的生存周期(统一为整个队列的所有消息设置生命周期), 也可以在发布消息的时候单独为某个消息指定剩余生存时间,单位毫秒, 类似于redis中的ttl,生存时间到了,消息会被从队里中删除,注意是消息被删除,而不是队列被删除, 特性Features=TTL, 单独为某条消息设置过期时间

      AMQP.BasicProperties.Builder properties = new AMQP.BasicProperties().builder().expiration(6000); 
      channel.basicPublish(EXCHANGE_NAME, “”, properties.build(), message.getBytes(“UTF-8));
      
    • Auto Expire(x-expires): 当队列在指定的时间没有被访问(consume, basicGet, queueDeclare…)就会被删除,Features=Exp

    • Max Length(x-max-length): 限定队列的消息的最大值长度,超过指定长度将会把最早的几条删除掉, 类似于mongodb中的固定集合,例如保存最新的100条消息, Feature=Lim

    • Max Length Bytes(x-max-length-bytes): 限定队列最大占用的空间大小, 一般受限于内存、磁盘的大小, Features=Lim B

    • Dead letter exchange(x-dead-letter-exchange): 当队列消息长度大于最大长度、或者过期的等,将从队列中删除的消息推送到指定的交换机中去而不是丢弃掉,Features=DLX

    • Dead letter routing key(x-dead-letter-routing-key):将删除的消息推送到指定交换机的指定路由键的队列中去, Feature=DLK

    • Maximum priority(x-max-priority):优先级队列,声明队列时先定义最大优先级值(定义最大值一般不要太大),在发布消息的时候指定该消息的优先级, 优先级更高(数值更大的)的消息先被消费,

    • Lazy mode(x-queue-mode=lazy): Lazy Queues: 先将消息保存到磁盘上,不放在内存中,当消费者开始消费的时候才加载到内存中

    • Master locator(x-queue-master-locator)

如果是订阅模型(Fanout、Direct、Topic),那么就需要声明一个交换机,信息发送到交换机中,交换机负责将信息发送到队列里面,消费者再从队列里面获取消息。

channel.exchangeDeclare("交换机名字", "交换机类型");

信息发送

  • 基本模型

    信息直接发送到队列中:

    channel.basicPublish("", "队列名字", null, "信息字节流");
    
  • 订阅模型

    信息发送到交换机中:

    //Fanout
    channel.basicPublish("交换机名字", "", null, "信息字节流");
    
    //Direct、Topic
    channel.basicPublish("交换机名字", "RoutingKey", null, message.getBytes());
    

    basicPublish的源码:

        public void basicPublish(String exchange, String routingKey, boolean mandatory, boolean immediate, BasicProperties props, byte[] body) throws IOException {
            if (this.nextPublishSeqNo > 0L) {
                this.unconfirmedSet.add(this.getNextPublishSeqNo());
                ++this.nextPublishSeqNo;
            }
     
            BasicProperties useProps = props;
            if (props == null) {
                useProps = MessageProperties.MINIMAL_BASIC;
            }
     
            this.transmit(new AMQCommand((new Builder()).exchange(exchange).routingKey(routingKey).mandatory(mandatory).immediate(immediate).build(), useProps, body));
            this.metricsCollector.basicPublish(this);
        }
    

    参数解释:

    • exchange:交换机名字
    • routingKey:路由键,#匹配0个或多个单词,*只匹配一个单词,在topic exchange做消息转发用
    • mandatory:true:如果exchange根据自身类型和消息routeKey无法找到一个符合条件的queue,那么会调用basic.return方法将消息返还给生产者。false:出现上述情形broker会直接将消息扔掉
    • immediate:true:如果exchange在将消息route到queue(s)时发现对应的queue上没有消费者,那么这条消息不会放入队列中。当与消息routeKey关联的所有queue(一个或多个)都没有消费者时,该消息会通过basic.return方法返还给生产者。
    • BasicProperties :需要注意的是BasicProperties.deliveryMode,0:不持久化 1:持久化 这里指的是消息的持久化,配合channel(durable=true),queue(durable)可以实现,即使服务器宕机,消息仍然保留

关闭通道、关闭连接

channel.close();
connection.close();

消费者

获取连接

 Connection connection = ConnectionUtil.getConnection();

获取通道

Channel channel = connection.createChannel();

声明队列

channel.queueDeclare("队列名字", false, false, false, null);

绑定队列到交换机

如果是订阅类型(Fanout、Direct和Topic),则需要绑定队列到交换机 ;如果是基本消息消息模型和work消息模型,则不需要此操作

Fanout

 channel.queueBind("队列名字", "交换机名字", "");

Direct和Topic

channel.queueBind("队列名字", "交换机名字", "routing key");

定义队列的消费者

 DefaultConsumer consumer = new DefaultConsumer(channel) {
            // 获取消息,并且处理,这个方法类似事件监听,如果有消息的时候,会被自动调用
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, BasicProperties properties,
                    byte[] body) throws IOException {
                // body 即消息体
                String msg = new String(body);
                System.out.println(" [消费者1] received : " + msg + "!");
            }
  };

监听队列,自动或者手动ACK

自动ACK:

channel.basicConsume("队列名字", true, consumer);

手动ACK:

channel.basicConsume("队列名字", false, consumer);

源码:

 String basicConsume(String queue, boolean autoAck, Consumer callback) throws IOException;

参数解析:

autoAck:是否自动ack,如果不自动ack,需要使用channel.ack、channel.nack、channel.basicReject 进行消息应答

channel.basicAck(envelope.getDeliveryTag(), false);
  • deliveryTag:该消息的index
  • multiple:是否批量.true:将一次性ack所有小于deliveryTag的消息。

三、Spring AMQP

3.1、简介

Sprin有很多不同的项目,其中就有对AMQP的支持。

Spring AMQP的页面:http://spring.io/projects/spring-amqp

在这里插入图片描述

Spring-amqp是对AMQP协议的抽象实现,而spring-rabbit 是对协议的具体实现,也是目前的唯一实现。底层使用的就是RabbitMQ。

3.2、依赖和配置

添加AMQP的启动器:

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

application.yml中添加RabbitMQ地址:

spring:
  rabbitmq:
    host: 192.168.56.101
    username: leyou
    password: leyou
    virtual-host: /leyou

3.3、监听者

在SpringAmqp中,对消息的消费者进行了封装和抽象,一个普通的JavaBean中的普通方法,只要通过简单的注解,就可以成为一个消费者。

@Component
public class Listener {

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "spring.test.queue", durable = "true"),
            exchange = @Exchange(
                    value = "spring.test.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"#.#"}))
    public void listen(String msg){
        System.out.println("接收到消息:" + msg);
    }
}
  • @Componet:类上的注解,注册到Spring容器
  • @RabbitListener:方法上的注解,声明这个方法是一个消费者方法,需要指定下面的属性:
    • bindings:指定绑定关系,可以有多个。值是@QueueBinding的数组。@QueueBinding包含下面属性:
      • value:这个消费者关联的队列。值是@Queue,代表一个队列
      • exchange:队列所绑定的交换机,值是@Exchange类型
      • key:队列和交换机绑定的RoutingKey

类似listen这样的方法在一个类中可以写多个,就代表多个消费者。

3.4、AmqpTemplate

Spring为AMQP提供了统一的消息处理模板:AmqpTemplate,非常方便的发送消息,其发送方法为:convertAndSend有很多的重载

测试代码

@RunWith(SpringRunner.class)
@SpringBootTest(classes = Application.class)
public class MqDemo {

    @Autowired
    private AmqpTemplate amqpTemplate;

    @Test
    public void testSend() throws InterruptedException {
        String msg = "hello, Spring boot amqp";
        this.amqpTemplate.convertAndSend("spring.test.exchange","a.b", msg);
        // 等待10秒后再结束
        Thread.sleep(10000);
    }
}

四、项目改造

实现搜索服务、商品静态页的数据同步

4.1、思路分析

发送方:商品微服务

  • 什么时候发?

    当商品服务对商品进行写操作:增、删、改的时候,需要发送一条消息,通知其它服务。

  • 发送什么内容?

    对商品的增删改时其它服务可能需要新的商品数据,但是如果消息内容中包含全部商品信息,数据量太大,而且并不是每个服务都需要全部的信息。因此只发送商品id,其它服务可以根据id查询自己需要的信息。

接收方:搜索微服务、静态页微服务

接收消息后如何处理?

  • 搜索微服务:
    • 增/改:添加新的数据到索引库
    • 删:删除索引库数据
  • 静态页微服务:
    • 增/改:创建新的静态页
    • 删:删除原来的静态页

4.2、商品服务发送消息

先在商品微服务leyou-item-service中实现发送消息。

4.2.1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

4.2.2、配置文件

在application.yaml中添加一些有关RabbitMQ的配置:

spring:
  rabbitmq:
    host: 192.168.56.101
    username: leyou
    password: leyou
    virtual-host: /leyou
    template:
      exchange: leyou.item.exchange
      retry:
        enabled: true
        multiplier: 2
        initial-interval: 1000ms
        max-interval: 10000ms
    # publisher-confirms: true  已弃用
    #确认消息已经发送到交换机(exchange)选择确认类型为交互
    publisher-confirm-type: correlated
  • template:有关AmqpTemplate的配置
    • exchange:缺省的交换机名称,此处配置后,发送消息如果不指定交换机就会使用这个
    • retry:失败重试
      • enabled:开启失败重试
      • initial-interval:第一次重试的间隔时长
      • max-interval:最长重试间隔,超过这个间隔将不再重试
      • multiplier:下次重试间隔的倍数,此处是2即下次重试间隔是上次的2倍
  • publisher-confirm-type:原publisher-confirms配置已经弃用

4.2.3、改造GoodsService

在GoodsService中封装一个发送消息到mq的方法:(需要注入AmqpTemplate模板)

GoodsService

/**
 * 发送消息到 mq
 * @param id
 * @param type
 */
void sendMessage(Long id, String type);

实现类:

/**
 * 发送消息到 mq
 *
 * @param id
 * @param type
 */
@Override
public void sendMessage(Long id, String type) {
    try {
        this.amqpTemplate.convertAndSend("item." + type,id);
    } catch (Exception e) {
        LOGGER.error("{}商品消息发送异常,商品id:{}", type, id, e);
    }
}

注意:这里要把所有异常都try起来,不能让消息的发送影响到正常的业务逻辑

新增时调用

在这里插入图片描述

更新时调用

在这里插入图片描述

删除时调用

在这里插入图片描述

修改商品上下架状态

在这里插入图片描述

4.3、搜索服务接收消息

搜索服务接收到消息后要做的事情:

  • 增:添加新的数据到索引库
  • 删:删除索引库数据
  • 改:修改索引库数据

因为索引库的新增和修改方法是合二为一的,因此可以将这两类消息一同处理,删除另外处理。

4.3.1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

4.3.2、配置文件

在application.yaml中添加一些有关RabbitMQ的配置:

spring:
  rabbitmq:
    host: 192.168.56.101
    username: leyou
    password: leyou
    virtual-host: /leyou

这里只是接收消息而不发送,所以不用配置template相关内容。

4.3.3、编写监听器

在这里插入图片描述

@Component
public class GoodsListener {

    @Autowired
    private SearchService searchService;

    /**
     * 处理insert和update的消息
     * @param id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "leyou.create.index.queue",durable = "true"),
            exchange = @Exchange(
                    value = "leyou.item.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"item.insert","item.update"}
    ))
    public void listenCreate(Long id) throws IOException {
        if (null == id) return;
        // 创建或更新索引
        this.searchService.createIndex(id);
    }

    /**
     * 处理delete的消息
     * @param id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "leyou.delete.index.queue",durable = "true"),
            exchange = @Exchange(
                    value = "leyou.item.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"item.delete"}
    ))
    public void listenDelete(Long id){
        if (null == id) return;
        // 删除索引
        this.searchService.deleteIndex(id);
    }
}

4.3.4、编写创建和删除索引方法

这里因为要创建和删除索引,需要在SearchService中拓展两个方法,创建和删除索引:

service

/**
 * 创建索引
 * @param id
 */
void createIndex(Long id) throws IOException;

/**
 * 删除索引
 * @param id
 */
void deleteIndex(Long id);

实现类:

/**
 * 创建索引
 *
 * @param id
 */
@Override
public void createIndex(Long id) throws IOException {
    Spu spu = this.goodsClient.querySpuById(id);
    // 构建商品
    Goods goods = this.buildGoods(spu);
    //保存数据到索引库
    this.goodsRepository.save(goods);

}

/**
 * 删除索引
 *
 * @param id
 */
@Override
public void deleteIndex(Long id) {
    this.goodsRepository.deleteById(id);
}

4.4、静态页服务接收消息

商品静态页服务接收到消息后的处理:

  • 增:创建新的静态页
  • 删:删除原来的静态页
  • 改:创建新的静态页并覆盖原来的

不过,编写的创建静态页的方法也需要具备覆盖以前页面的功能,因此:增和改的消息可以放在一个方法中处理,删除消息放在另一个方法处理。

4.4.1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

4.4.2、配置文件

在application.yaml中添加一些有关RabbitMQ的配置:

spring:
  rabbitmq:
    host: 192.168.56.101
    username: leyou
    password: leyou
    virtual-host: /leyou

这里只是接收消息而不发送,所以不用配置template相关内容。

4.3.4、编写监听器

在这里插入图片描述

@Component
public class GoodsListener {

    @Autowired
    private GoodsHtmlService goodsHtmlService;

    /**
     * 创建或更新静态页面
     * @param id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "leyou.create.web.queue",durable = "true"),
            exchange = @Exchange(
                    value = "leyou.item.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"item.insert","item.update"}
    ))
    public void listenCreate(Long id) throws Exception{
        if (null == id) return;
        // 创建页面
        this.goodsHtmlService.createHtml(id);
    }

    /**
     * 删除静态页面
     * @param id
     */
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "leyou.delete.web.queue",durable = "true"),
            exchange = @Exchange(
                    value = "leyou.item.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"item.delete"}
    ))
    public void listenDelete(Long id){
        if (null == id) return;
        this.goodsHtmlService.deleteHtml(id);
    }
}

4.3.5、添加删除页面方法

service

/**
 * 删除html页面
 * @param spuId
 */
void deleteHtml(Long spuId);

实现类:

/**
 * 删除html页面
 *
 * @param spuId
 */
@Override
public void deleteHtml(Long spuId) {
    File file = new File("D:\\JavaEnvironment\\Nginx\\nginx-1.20.1\\html\\item\\" + spuId + ".html");
    file.deleteOnExit();
}

4.3.6、测试

重新启动项目,并且登录RabbitMQ管理界面

交换机

在这里插入图片描述

队列

在这里插入图片描述

队列与交换机的绑定关系

在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-09-02 11:26:45  更:2021-09-02 11:29:56 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 17:00:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码