IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> kafka生产消息核心流程 -> 正文阅读

[大数据]kafka生产消息核心流程

生产者

kafka在0.8.2版本开发了一套java版本的client api,对原来包里面的生产者和消费者逻辑用java语言重新实现,独立了一个新的client包。在 0. 10 版本之后的 Kafka推荐使用java版本的客户端。在0.8.2版本之前还是使用老的Scala语言编写的客户端。
在启动生产者之前一些重要的配置介绍。生产者有很多属性可以设置,大部分都有合理的默认值,无需调整。有些参数可能对内存使用,性能和可靠性方面有较大影响。
acks:代理收到消息后向生产者发生消息确认,生产者根据acks值做出相应的处理。通过设置request.required.acks 设置,取值可为 0、-1 、 l 中之一,默认取 l 。
(1)acks=0 生产者发送信息到代理,不需要等待代理响应,可以连续的发送消息。这种提供的吞吐量,但是有可能会丢失数据。
(2)acks=1 生产者发送消息到代理,需要等待leader副本已经成功的将消息写入到日志文件中,这种方式一定程度上降低了丢失数据的可能性,但是也会出现丢失数据的情况。如果leader副本在接收到消息后突然宕机,然后其他的follower副本还未来得及进行数据同步,这个时候重新进行leader选举,新的leader副本是从原理的follower副本中选举的,那么原理leader副本中接收到的还未来得及同步得消息就会丢失。
(3)acks=-1 leader副本和其他isr列表中的副本都完成了数据存储才会向生产者发送确认消息。这种策略只要leader副本和follower副本至少有一个存活数据就不会丢失。为了保证数据不丢失,就需要保证同步的副本个数需要至少大于1 ,通过配置 min.insync.replicas 设置,当同步副本数不足此配置值时,生产者会抛出异常。这种吞吐量比较高。
batch.num.messages :Kafka 支持消息批量向代理特定分区 发送消息,表示每次批量发送消息的最大消息数, 当生产者采用同步模式发送时该配置项将失效。
message.send.max.retries 生产者向代理发送消息失败后重试次数,默认是3次

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-14 14:08:30  更:2021-08-14 14:08:53 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年6日历 -2024/6/1 22:04:25-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码