1 基本概念
1.1 消息(Message)
消息是指,消息系统所传输信息的物理载体,生产和消费数据的最小单位,每条消息必须属于一个主题。
1.2 主题(Topic)
Topic表示一类消息的集合,每个主题包含若干条消息,每条消息只能属于一个主题,是RocketMQ进行消息订阅的基本单位。 topic:message 1:n message:topic 1:1 一个生产者可以同时发送多种Topic的消息;而一个消费者只对某种特定的Topic感兴趣,即只可以订阅和消费一种Topic的消息。 producer:topic 1:n consumer:topic 1:1
1.3 标签(Tag)
为消息设置的标签,用于同一主题下区分不同类型的消息。来自同一业务单元的消息,可以根据不同业务目的在同一主题下设置不同标签。标签能够有效地保持代码的清晰度和连贯性,并优化RocketMQ提供的查询系统。消费者可以根据Tag实现对不同子主题的不同消费逻辑,实现更好的扩展性。Topic是消息的一级分类,Tag是消息的二级分类。
1.4 队列(Queue)
存储消息的物理实体。一个Topic中可以包含多个Queue,每个Queue中存放的就是该Topic的消息。一个Topic的Queue也被称为一个Topic中消息的分区(Partition)。 一个Topic的Queue中的消息只能被一个消费者组中的一个消费者消费。一个Queue中的消息不允许同一个消费者组中的多个消费者同时消费。
1.5 消息标识(MessageId/Key)
RocketMQ中每个消息拥有唯一的MessageId,且可以携带具有业务标识的Key,以方便对消息的查询。不过需要注意的是,MessageId有两个:在生产者send()消息时会自动生成一个MessageId(msgId),当消息到达Broker后,Broker也会自动生成一个MessageId(offsetMsgId)。msgId、offsetMsgId与key都称为消息标识。
- msgId:由procedure端生成,生成规则为procedureIp + 进程pid + MessageClientIDSetter类的ClassLoader的hashCode + 当前时间 + AutomicInteger自增计数器
- offsetMsgId:由broker端生成,其生成规则为 brokerIP + 物理分区的offset(queue中的偏移量)
- key:由用户指定的业务相关的唯一标识
2 系统架构
RocketMQ架构上主要分为四部分组成:Producer、Consumer、Name Server、Broker
2.1 Procedure
消息生产者,负责生产消息。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递,投递的过程支持快速失败并且低延迟。 RocketMQ中的消息生产者都是以生产者组(Producer Group)的形式出现的。生产者组是同一类生产者的集合,这类Producer发送相同Topic类型的消息。一个生产者组可以同时发送多个主题的消息。
2.2 Consumer
消息消费者,负责消费消息。一个消息消费者会从Broker服务器中获取到消息,并对消息进行相关业务处理。 RocketMQ中的消息消费者都是以消费者组(Consumer Group)的形式出现的。消费者组是同一类消费者的集合,这类Consumer消费的是同一个Topic类型的消息。 消费者组使得在消息消费方面实现负载均衡(将一个Topic中的不同queue平均分配给同一个Consumer Group的不同Consumer)和容错(一个Consumer挂了,该Consumer Group中其他Consumer可以接着消费原Consumer消费的Queue) 消费者组中的Consumer数量应该<=topic中Queue的数量,如果超出Queue的数量,则多出来的Consumer将不能消费 不过一个Topic类型的消息可以被多个消费者组同时消费 注意
- 消费者组只能消费一个Topic的消息,不能同时消费多个Topic的消息
- 一个消费者组中的消费者必须订阅完全相同的Topic
2.3 Name Server
2.3.1 功能介绍
NameServer是Topic和Broker的注册中心,支持Broker的动态注册和发现 RocketMQ的思想来自于kafka,所以RocketMQ早期版本(3.0)之前也是依赖ZK,3.0及之后版本剔除ZK,引入NameServer NameServer主要包括两个功能
- Broker管理:接受Broker集群注册信息并保存下来作为路由信息的基本数据;提供心跳检测机制,检查Broker是否存活
- 路由信息管理:每个NameServer中都保存着Broker集群的整个路由信息和用于客户端的查询队列信息,Procedure和Consumer通过NameServer可以获取整个Broker的路由信息,从而进行消息投递和消费
2.3.2 路由注册
2.3.3 路由剔除
2.3.4 路由发现
2.3.5 客户端NameServer选择策略
2.4 Broker
2.4.1 功能介绍
Broker充当消息中转者角色,负责存储消息、转发消息。Broker在RocketMQ系统中负责接收并存储从生产者发来的消息,同时为消费者拉取消息做准备。Broker同时也存储着消息相关的元数据,包括消费者组消费进度偏移offset,主题,队列等
2.4.2 模块构成
2.4.3 集群部署
2.5 工作流程
2.5.1 具体流程
2.5.2 Topic创建方式
2.5.3 读写队列
|