IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> RocketMQ 概念 -> 正文阅读

[大数据]RocketMQ 概念

RocketMQ介绍

简介

RocketMQ是一款分布式、队列模型的消息中间件。

特点

  • 单机吞吐量:十万级
  • 可用性:非常高分布式架构
  • 支持10亿级别的消息堆积,不会因为堆积导致性能下降
  • 能够保证严格的消息顺序
  • 提供丰富的消息拉取模式
  • 实时的消息订阅机制
  • 支持上万个队列
  • 消息失败重试机制

关键概念

主题与标签

  • 主题Top: 第一级消息类型,书的标题
  • 标签Tags:第二级消息类型,书的目录,可以基于Tag做消息过滤

ps:

  • 主题Top: 订单交易

  • 标签Tags:订单交易-创建 订单交易-付款 订单交易-完成

消息队列Queue

  • Queue:一个Topic可以设置多个消息队列,发送消息时执行该消息的Topic,RocketMQ会轮询该Topic下的所有队列将消息发出去

Offset

  • Message Queue是一个长度无线的数组,Offset就是下标

发送与订阅组group

  • 生产组:用于消息的发送
  • 消费组:用于消息的订阅处理

消息消费模式

  • 集群消费Clustering:一个消费者集群共同消费一个主题的多个队列

  • 广播消费Broadcasting:会发给消费者组中每一个消费者进行消费

Message Order

  • 顺序消费Orderly:指的是消息的消费顺序和生产顺序相同

  • 全局顺序:在某个topic下,所有的消息都要保证顺序

  • 局部顺序:只要保证每一组消息被顺序被顺序消费即可

  • 并行消费Concurrently:不在保证消息顺序

架构组成

网络部署图

NameServer:

  • 是一个功能齐全的服务器,类似Zookeeper,每个Broker会在NameServer注册,Producer会在发送消息根据Topic到NameServer获取Broker路由信息,Consumer也会定时获取Topic的路由信息

  • 主要是维持心跳和提供Topic-Broker的关系数据

  • Broker向NameServer发心跳时,会带上当前所负责的Topic信息

Broker:

  • 负责消息存储,转发消息。具有上亿级消息堆积能力,严格保证消息的有序性

Producer与NameServer集群中的其中一个节点随机选择建立长连接,定期从NameServer取Topic路由信息,并向提供的Topic服务Master建立长连接,且定时向Master发送心跳。

Consumer与NameServer集群中的其中一个节点随机选择建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳,Consumer既可以从Master订阅消息,也可以从slave订阅消息,订阅规则由Broker配置决定

逻辑部署结构

Producer Group

  • 用来表示一个发送消息应用,一个Producer group 下包含多个Producer

  • 标识一类Producer

  • 可以通过运维工具查询这个发送消息应用下有多个 Producer 实例

  • 发送分布式事务消息时,如果 Producer 中途意外宕机,Broker 会主动回调 Producer Group 内的任意一台机器来确认事务状态

Consumer Group

  • 用来表示一个消费消息应用,一个 Consumer Group 下包含多个 Consumer 实例

  • 一个 Consumer Group 下的多个 Consumer 以均摊方式消费消息,如果设置为广播方式,那么这个 Consumer Group 下的每个实例都消费全量数据

鸣谢

  • RocketMQ 开发指南
  • 公众号-三太子敖丙
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-03 17:09:35  更:2021-10-03 17:09:46 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 23:26:10-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码