IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Kakfa系列_消息发送流程 -> 正文阅读

[大数据]Kakfa系列_消息发送流程

Kakfa系列_消息发送流程

一、重要配置项
1、bootstrap.servers//Kafka服务器连接地址,必填
2、key.serializer//用于消息的key做序列化,必填
3、value.serializer//用于消息的value做序列化,必填
4、acks
acks=0,表示producer只负责发送,不关心服务端处理结果。可以以理解为以oneWay的方式发送
acks=all或者-1,表示producer会等到服务端topic副本都写入个字的本地日之后,才会把发送结果返回给producer
acks=1,表示producer发送后,topic副本的主节点写入成功后就把发送结果返回给producer,不关系其他副本写入情况
5、buffer.memory//producer用于缓存消息的缓冲区大小,默认32MB。
6、compression.type//producer消息压缩策略,默认关闭。Kafka支持3种压缩策略:GZIP、Snappy、LZ4
7、retries//消息发送失败,producer内部重试次数
8、batch.size//重要。默认16KB,producer默认会将同一分区下的消息封装到一个batch中
9、linger.ms//默认值0,表示消息需要立马发送到服务端。该配置可与batch.size配置一起结合使用进行调优
10、max.request.size//表示单条消息大小
11、request.timeout.ms//producer发送到Kafka服务端的超时时间,默认30s
二、发送流程
1、确认数据要发送到的 topic 的 metadata 是可用的(如果该 partition 的 leader 存在则是可用的,如果开启权限时,client 有相应的权限),如果没有 topic 的 metadata 信息,就需要获取相应的metadata;
2、序列化 record 的 key 和 value;
3、获取该 record 要发送到的 partition(可以指定,也可以根据算法计算);
向 accumulator 中追加 record 数据,数据会先进行缓存;
如果追加完数据后,对应的 RecordBatch 已经达到了 batch.size 的大小(或者batch 的剩余空间不足以添加下一条 Record),则唤醒 sender 线程发送数据。详见流程图:
kafka生产者发送流程

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-15 15:39:36  更:2021-08-15 15:40:55 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 9:24:22-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码