MQ消息中间件之RabbitMQ

9--1 / 2023-09-05 / 原文

1.MQ知识扩充

1.1 什么是MQ消息中间件

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法

1.2 为什么使用MQ

【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量】

1.2.1 MQ好处

(1) 应用解耦

(2) 异步提速

(3)削峰填谷

1.2.2 MQ缺点

1.系统可用性降低系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？

2.系统复杂度提高 MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？

3.一致性问题 A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息数据，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

1.3 常见的MQ组件

目前业界有很多的 MQ 产品，例如 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等。

也有直接使用 Redis 充当消息队列的案例，而这些消息队列产品，各有侧重，在实际选型时，需要结合自身需求及 MQ 产品特征

1.4 MQ原理图详解

名词释义：

Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker

Connection：publisher／consumer 和 broker 之间的 TCP 连接

Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销.

Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)

Queue：消息最终被送到这里等待 consumer 取走

Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding 信息被保存到 exchange 中的查询表中，用于 message 的分发依据

Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost 创建 exchange／queue 等

2.使用MQ

那么我们这里就使用RabbitMQ组件，现在进行安装

【注：由于上一篇我们已经安装了RabbitMQ，所以这里不在概述，详情请见 RabbitMQ的安装】

3.RabbitMQ的工作模式

RabbitMQ提供了6种工作模式：

1.simple（简单模式）

2.work queues（工作模式）

3.Publish/Subscribe（发布与订阅模式）

4.Routing（路由模式）

5.Topics（主体模式）

6.RPC（远程调用模式）

【注：这里只演示前五种模式，因为RPC不算是MQ，所以这里不做演示】

【注：官网对应模式介绍：https://www.rabbitmq.com/getstarted.html】

3.0 测试环境准备：

1.打开idea新建一个普通maven项目【注：这里将这个maven项目作为父类来管理子类的项目，所以可以将src包删除】

2.在此maven中pom文件里以pom方式打包

<packaging>pom</packaging>

3.在此maven中pom文件添加RabbitMQ协议依赖

<dependencies>
    <dependency>
        <groupId>com.rabbitmq</groupId>
        <artifactId>amqp-client</artifactId>
        <version>5.14.2</version>
    </dependency>
</dependencies>

2.在此maven中创建生产者模块（ProducerProject）且随便创建包名

3.在此maven中创建消费者模块（ConmusptionProject）且随便创建包名

目录演示：

3.1 simple（简单模式）

在上图的模型中，有以下概念：

P：生产者，也就是要发送消息的程序

C：消费者：消息的接收者，会一直等待消息到来

queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息

3.3.1生产者

在ProduceProject项目下创建demo1包下HelloProducer类

public static void main(String[] args) throws Exception{
    //设置连接对象信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");//设置RabbitMQ主机地址，默认127..0.1
    factory.setPort(5672);//设置RabbitMQ主机端口，默认5672
    factory.setUsername("root");//设置RabbitMQ的账户，默认guest
    factory.setPassword("root");//设置RabbitMQ的密码，默认guest
    factory.setVirtualHost("/xw");//设置虚拟主机，默认/


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列--如果队列不存在则创建---如果存在则不创建.
    /*
    String queue,队列的名称--命名规则就可以
    boolean durable, 是否持久化。--
    boolean exclusive, 是否独占--当前channel是否独占该队列
    boolean autoDelete, 是否自动删除该队列。
      Map<String, Object> arguments：该队列的属性参数--null
     */
    channel.queueDeclare("hello",true,false,false,null);

    //发送消息
    /*
    String exchange, 交换机的名称--像简单模式没有交换机 ""
    String routingKey, 路由key. 像简单模式 默认给定为队列的名称
     BasicProperties props,消息的属性--现在给定null.
     byte[] body: 消息的内容
     */
    String msg = "Hello RabbitMQ Word,This my like";
    channel.basicPublish("","hello",null,msg.getBytes());

    //关闭资源
    channel.close();
    connection.close();
}

测试运行（打开RabbitMQ网页图形化，不清楚请看上一篇文章）：

3.3.2 消费者

在ConmusptionProject项目下创建demo1包下HelloConmusption类

public static void main(String[] args) throws Exception{
    //设置连接对象的信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列
    channel.queueDeclare("hello",true,false,false,null);

    //监听消息
    /*
    String queue, 监听的队列名
    boolean autoAck, 是否自动确认。
    Consumer callback: 回调函数---当队列中有消息时就会自动触发该对象
     */
    DefaultConsumer callback = new DefaultConsumer(channel){
        //下面这个方法是需要被重写的
        /*
           String consumerTag, Envelope envelope, AMQP.BasicProperties properties,
           byte[] body: 接受的消息---byte数组
        */
        public void handleDelivery(String consumerTag, Envelope envelope,AMQP.BasicProperties properties,byte[] body)throws IOException {
            String msg = new String(body);
            System.out.println("接受的消息是："+msg);
        }
    };
    channel.basicConsume("hello",true,callback);
    //【注：不能关闭connection和channel，一旦关闭就监听不到生产者发来的消息】
}

测试运行：

3.2 work queues（工作模式）

Work Queues：与入门程序的简单模式相比，多了一个或一些消费端，多个消费端共同消费同一个队列中的消息

应用场景：对于任务过重或任务较多情况使用工作队列可以提高任务处理的速度

3.2.1 生产者

在ProduceProject项目下创建demo2包下WorkQueues_Produce类

public static void main(String[] args) throws Exception{
    //设置连接对象信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");//设置RabbitMQ主机地址，默认127..0.1
    factory.setPort(5672);//设置RabbitMQ主机端口，默认5672
    factory.setUsername("root");//设置RabbitMQ的账户，默认guest
    factory.setPassword("root");//设置RabbitMQ的密码，默认guest
    factory.setVirtualHost("/xw");//设置虚拟主机，默认/


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列--如果队列不存在则创建---如果存在则不创建.
    /*
    String queue,队列的名称--命名规则就可以
    boolean durable, 是否持久化。--
    boolean exclusive, 是否独占--当前channel是否独占该队列
    boolean autoDelete, 是否自动删除该队列。
      Map<String, Object> arguments：该队列的属性参数--null
     */
    channel.queueDeclare("HelloWorkQueues",true,false,false,null);

    //发送消息
    /*
    String exchange, 交换机的名称--像简单模式没有交换机 ""
    String routingKey, 路由key. 像简单模式 默认给定为队列的名称
     BasicProperties props,消息的属性--现在给定null.
     byte[] body: 消息的内容
     */
    for (int i = 0; i < 10; i++) {
            String msg = "Hello WorkQueues,This is WorkQueues Message."+i;
            channel.basicPublish("","HelloWorkQueues",null,msg.getBytes());
        }

    //关闭资源
    channel.close();
    connection.close();
}

3.2.2 消费者

在ConmusptionProject项目下创建demo2包下WorkQueues_Conmusption01类

在ConmusptionProject项目下创建demo2包下WorkQueues_Conmusption02类

【注：两个类中都是共同代码】

public static void main(String[] args) throws Exception{
    //设置连接对象的信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列
    channel.queueDeclare("HelloWorkQueues",true,false,false,null);

    //监听消息
    /*
    String queue, 监听的队列名
    boolean autoAck, 是否自动确认。
    Consumer callback: 回调函数---当队列中有消息时就会自动触发该对象
     */
    DefaultConsumer callback = new DefaultConsumer(channel){
        //下面这个方法是需要被重写的
        /*
           String consumerTag, Envelope envelope, AMQP.BasicProperties properties,
           byte[] body: 接受的消息---byte数组
        */
        public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)throws IOException {
            String msg = new String(body);
            System.out.println("接受的消息是："+msg);
        }
    };
    channel.basicConsume("HelloWorkQueues",true,callback);
    //【注：不能关闭connection和channel，一旦关闭就监听不到生产者发来的消息】
}

测试运行：

总结:

在一个队列中如果有多个消费者，那么消费者之间对于同一个消息的关系是竞争的关系

Work Queues 对于任务过重或任务较多情况使用工作队列可以提高任务处理的速度

例如：短信服务部署多个，只需要有一个节点成功发送即可

3.3 Publish/Subscribe（发布与订阅模式）

在订阅模型中，多了一个 Exchange 角色，且过程略有变化：

P：生产者，也就是要发送消息的程序，但是不再发送到队列中，而是发给X（交换机）

C：消费者，消息的接收者，会一直等待消息到来

Queue：消息队列，接收消息、缓存消息

Exchange：交换机（X），一方面，接收生产者发送的消息。另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。Exchange

有常见以下3种类型：

Fanout：广播，将消息交给所有绑定到交换机的队列

Direct：定向，把消息交给符合指定routing key 的队列

Topic：通配符，把消息交给符合routing pattern（路由模式）的队列

【注：Exchange（交换机）只负责转发消息，不具备存储能力，因此如果没有任何队列与Exchange绑定，或者没有符合Exchange的规则的队列，那么消息就会丢失】

3.3.1 生产者

在ProduceProject项目下创建demo3包下PublishSubscribe_Produce类

public static void main(String[] args) throws Exception{
    //设置连接对象信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建交换机
    /*
    String exchange,交换机的名称
     BuiltinExchangeType type, 交换机的类型
     boolean durable: 是否持久化
     */
    channel.exchangeDeclare("fanout_exchange", BuiltinExchangeType.FANOUT,true);

    //创建队列
    channel.queueDeclare("fanout_queue01",true,false,false,null);
    channel.queueDeclare("fanout_queue02",true,false,false,null);

    //与交换机绑定队列
    channel.queueBind("fanout_queue01","fanout_exchange","");
    channel.queueBind("fanout_queue02","fanout_exchange","");

    //发送消息
    String msg = "Hello PublishSubscribe,This is PublishSubscribe Message";
    channel.basicPublish("fanout_exchange","",null,msg.getBytes());

    channel.close();
    connection.close();
}

测试运行：

3.3.2 消费者

在ConmusptionProject项目下创建demo3包下PublishSubscribe_Conmusption01类

在ConmusptionProject项目下创建demo3包下PublishSubscribe_Conmusption02类

【注：两个类都是共同代码，只需把01改02即可】

public static void main(String[] args) throws Exception{
    //设置连接对象的信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列
    channel.queueDeclare("fanout_queue01",true,false,false,null);

    //监听消息
    /*
    String queue, 监听的队列名
    boolean autoAck, 是否自动确认。
    Consumer callback: 回调函数---当队列中有消息时就会自动触发该对象
     */
    DefaultConsumer callback = new DefaultConsumer(channel){
        //下面这个方法是需要被重写的
        /*
           String consumerTag, Envelope envelope, AMQP.BasicProperties properties,
           byte[] body: 接受的消息---byte数组
        */
        public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)throws IOException {
            String msg = new String(body);
            System.out.println("接受的消息是："+msg);
        }
    };
    channel.basicConsume("fanout_queue01",true,callback);
    //【注：不能关闭connection和channel，一旦关闭就监听不到生产者发来的消息】
}

测试运行：

交换机需要与队列进行绑定，绑定之后；一个消息可以被多个消费者都收到。

发布订阅模式与工作队列模式的区别：

工作队列模式不用定义交换机，而发布/订阅模式需要定义交换机

发布/订阅模式的生产方是面向交换机发送消息，工作队列模式的生产方是面向队列发送消息(底层使用默认交换机)

发布/订阅模式需要设置队列和交换机的绑定，工作队列模式不需要设置，实际上工作队列模式会将队列绑定到默认的交换机

3.4 Routing（路由模式）

队列与交换机的绑定，不能是任意绑定了，而是要指定一个 RoutingKey（路由key）

消息的发送方在向 Exchange 发送消息时，也必须指定消息的 RoutingKey

Exchange 不再把消息交给每一个绑定的队列，而是根据消息的 Routing Key 进行判断，只有队列的Routingkey 与消息的 Routing key 完全一致，才会接收到消息

P：生产者，向 Exchange 发送消息，发送消息时，会指定一个routing key

X：Exchange（交换机），接收生产者的消息，然后把消息递交给与 routing key 完全匹配的队列

C1：消费者，其所在队列指定了需要 routing key 为 error 的消息

C2：消费者，其所在队列指定了需要 routing key 为 info、error、warning 的消息

3.4.1 生产者

在ProduceProject项目下创建demo4包下Routing_Produce类

public static void main(String[] args) throws Exception{
    //设置连接对象信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建路由
    channel.exchangeDeclare("direct_routing", BuiltinExchangeType.DIRECT,true);

    //创建队列
    channel.queueDeclare("Routing_queue01",true,false,false,null);
    channel.queueDeclare("Routing_queue02",true,false,false,null);

    //与路由绑定队列
    /**
     * 第一个值：队列名
     * 第二个值：路由Key
     * 第三个值：路由指定规则匹配队列
     */
    channel.queueBind("Routing_queue01","direct_routing","error");

    channel.queueBind("Routing_queue02","direct_routing","error");
    channel.queueBind("Routing_queue02","direct_routing","info");
    channel.queueBind("Routing_queue02","direct_routing","warning");

    String msg="Hello Routing,This is Routing_Produce Message";
    channel.basicPublish("direct_routing","info",null,msg.getBytes());

    channel.close();
    connection.close();
}

3.4.2 消费者

在ConmusptionProject项目下创建demo4包下Routing_Conmusption01类

在ConmusptionProject项目下创建demo4包下Routing_Conmusption02类

【注：两个类都是共同代码，只需把01改02即可】

public static void main(String[] args) throws Exception{
    //设置连接对象的信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列
    channel.queueDeclare("Routing_queue01",true,false,false,null);

    //监听消息
    /*
    String queue, 监听的队列名
    boolean autoAck, 是否自动确认。
    Consumer callback: 回调函数---当队列中有消息时就会自动触发该对象
     */
    DefaultConsumer callback = new DefaultConsumer(channel){
        //下面这个方法是需要被重写的
        /*
           String consumerTag, Envelope envelope, AMQP.BasicProperties properties,
           byte[] body: 接受的消息---byte数组
        */
        public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)throws IOException {
            String msg = new String(body);
            System.out.println("接受的消息是："+msg);
        }
    };
    channel.basicConsume("Routing_queue01",true,callback);
    //【注：不能关闭connection和channel，一旦关闭就监听不到生产者发来的消息】
}

【注：Routing 模式要求队列在绑定交换机时要指定 routing key，消息会转发到符合 routing key 的队列】

3.5 Topics（主体模式）

Topic 类型与 Direct 相比，都是可以根据 RoutingKey 把消息路由到不同的队列。只不过 Topic 类型Exchange 可以让队列在绑定 Routing key 的时候使用通配符！

Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert

通配符规则：# 匹配一个或多个词，* 匹配不多不少恰好1个词，例如：item.# 能够匹配 item.insert.abc 或者 item.insert，item.* 只能匹配 item.insert

3.5.1 生产者

在ProduceProject项目下创建demo5包下Topics_Produce类

public static void main(String[] args) throws Exception{
    //设置连接对象信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道
    channel.exchangeDeclare("topic_exchange", BuiltinExchangeType.TOPIC,true);//创建Topics

    //创建队列
    channel.queueDeclare("topic_queue01",true,false,false,null);
    channel.queueDeclare("topic_queue02",true,false,false,null);

    /**
     * 与topics绑定队列且匹配规则
     */
    channel.queueBind("topic_queue01","topic_exchange","*.orange.*");

    channel.queueBind("topic_queue02","topic_exchange","*.*.rabbit");
    channel.queueBind("topic_queue02","topic_exchange","lazy.#");

    //发送消息
    String msg="Hello Topics,This is Topics Message";
    channel.basicPublish("topic_exchange","lazy.orange",null,msg.getBytes());
    
    channel.close();
    connection.close();
}

3.5.2 消费者

在ConmusptionProject项目下创建demo5包下Topics_Conmusption01类

在ConmusptionProject项目下创建demo5包下Topics_Conmusption02类

【注：两个类都是共同代码，只需把01改02即可】

public static void main(String[] args) throws Exception{
    //设置连接对象的信息
    ConnectionFactory factory = new ConnectionFactory();
    factory.setHost("192.168.235.135");
    factory.setPort(5672);
    factory.setUsername("root");
    factory.setPassword("root");
    factory.setVirtualHost("/xw");


    Connection connection = factory.newConnection();//获取连接对象
    Channel channel = connection.createChannel();//获取channel信道

    //创建队列
    channel.queueDeclare("topic_queue01",true,false,false,null);

    //监听消息
    /*
    String queue, 监听的队列名
    boolean autoAck, 是否自动确认。
    Consumer callback: 回调函数---当队列中有消息时就会自动触发该对象
     */
    DefaultConsumer callback = new DefaultConsumer(channel){
        //下面这个方法是需要被重写的
        /*
           String consumerTag, Envelope envelope, AMQP.BasicProperties properties,
           byte[] body: 接受的消息---byte数组
        */
        public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)throws IOException {
            String msg = new String(body);
            System.out.println("接受的消息是："+msg);
        }
    };
    channel.basicConsume("topic_queue01",true,callback);
    //【注：不能关闭connection和channel，一旦关闭就监听不到生产者发来的消息】
}

4.SpringBoot和RabbitMQ整合

为了方便演示，这里继续还是用一个普通的maven父类工程管理两个子类springboot工程

创建一个普通的maven工程

创建两个springboot工程

4.1 ProduceSpringBoot端（生产者端）

引入start依赖坐标：

 <dependency>
      <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
  </dependency>

application配置RabbitMQ信息：

#Rabbit
spring.rabbitmq.host=192.168.235.135
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/xw
spring.rabbitmq.username=root
spring.rabbitmq.password=root

在测试类中：

【注：因为我们在上方已经定义了现成的五种工作模式，所以这里不在重新定义】

【注：这里就使用Topics主题模式】

【注：直接注入RabbitTemplate，调用方法，完成消息发送】

@SpringBootTest
class ProduceSpringBootApplicationTests {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @Test
    void contextLoads() {
        String msg = "Hello ProduceSpringBoot,This is ProduceSpringBoot Message";
        rabbitTemplate.convertAndSend("topic_exchange","lazy.orange",msg.getBytes());
    }

}

在测试运行中，效果与上方一样

4.2 ConmusptionSpringBoot（消费者端）

依然引入start依赖坐标：

    <dependency>
         		<groupId>org.springframework.boot</groupId>
         		<artifactId>spring-boot-starter-amqp</artifactId>
  	</dependency>

一样需要在application配置RabbitMQ连接信息，与生产者端一样，这里不再赘述

新建RabbitMQ包中的MyRabbitMQListener类

@Component
public class MyRabbitMQListener {

    @RabbitListener(queues = {"topic_queue02"})
    public void myListener(Message message){
        byte[] body = message.getBody();
        String msg = new String(body);
        System.out.println("收到的消息是："+msg);
    }
}

测试运行：