[大数据]消息队列面试准备

1. 消息队列的应用场景?
2. 各种消息队列产品的比较
3. 消息队列的优缺点
4. 如何保证消息队列的高可用
5. 如何保证消息不丢失
6. 如何保证消息不被重复消费?
7. 如何保证消息消费的顺序性?
8. 基于MQ的分布式事务实现

消息队列的应用场景

1. 解耦
   直接使用RPC调用导致系统紧耦合,当一个系统当下游系统宕机的时候会导致上游系统挂掉;以下订单为例;订单系统完成下订单之后,需要在支付系统,库存系统,物流系统完成相应的操作,但是直接使用RPC当其中一个下游系统宕机会导致整个下单流程失败;使用消息队列可以完成下订单,之后的事务延后处理;
2. 异步
   直接使用RPC会导致同步处理降低系统响应时间;而使用消息队列可以提高系统响应时间,其他事务可以并发执行;
   使用消息队列不适用适用上游系统依赖下游系统处理结果的场景;
3. 削峰
   秒杀系统可以使用消息队列缓存请求,降低系统负担;?

各种消息队列产品的比较

市面上常见的几种MQ:

1. RabbitMQ(Java)?
2. RocketMQ
3. kafaka

消息队列的优缺点

缺点:

提高系统复杂度

降低系统可用性

一致性问题

如何保证消息队列的高可用?

集群

RabbitMQ:普通集群,镜像集群;

普通集群只有一个服务实际是存储消息的;其他节点可以消费消息,但是实际上不能存储消息数据;存在单实例问题

镜像集群:每个节点都会存储消息数据;单节点宕机不会影响消息的收发;nameServer---Broker分布式架构模式;

RocketMQ双主双从保证高可用;

如何保证消息不丢失

消息丢失的原因:

1. 生产者发送消息的时候消息丢失;
2. MQ接收到消息但是没有持久化就宕机
3. 消费者获取到消息但是还未处理就宕机

如何保证消息不丢失:

1. MQ给生产者可靠确认
2. MQ进行消息持久化
3. 消费者消费消息之后进行消费确认,然后MQ再删除

如何保证消息不被重复消费,如何保证消息消费的幂等性

重复消费的原因----网络不可达---MQ成功接受消息但是接受确认未送达,会导致生产者发送重复消息;

解决:

发送消息时携带消息ID;消费者存储消息消费记录;

幂等性:重复消费消息对业务产生的影响不会变;

如何保证消息消费的顺序性

顺序性:保证同一个生产者的消息消费的顺序性,

顺序性问题产生的原因:集群部署导致不能顺序到达;多个消费者导致消息不能被顺序消费;??

解决:局部消费顺序性----生产者将同一组消息发送到同一个MQ上,多个消费者同时获取消息进行消费;MQ使用分段锁保证单个MQ中消息消费的顺序性;

分段锁:

MQ实现分布式事务的实现

分布式事务:分布式系统下某一事物要么同时成功,要么同时失败;----跨库事务

?