IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> kafka java消费者是如何管理TCP连接的 -> 正文阅读

[网络协议]kafka java消费者是如何管理TCP连接的

kafka java消费者是如何管理TCP连接的

何时创建连接

??根据我以前的文章,我们知道kafka的java生产者在实例已经创建,就创建了TCP连接。生产者的入口类KafkaProducer在构建实例时,会在后台启动Sender线程,这个线程负责Sockert连接的创建。
??那java的消费者是什么时候创建的连接呢?是实例创建时吗?并不是,消费者是在调用KafkaConsumer.poll方法时创建的连接。
具体的创建时机有三个:

  1. 发起FindCoordinator请求时。
    ??在前面的的文章"kafka消费者重平衡可以避免吗?"中 ,说过一个协调者(Coordinator),它是驻留在Borker端的内存中的。负责消费者组成员和各个消费者的位移提交管理。当消费者程序首次调用poll方法时,他需要向Kafka集群发送一个FindCoordinator的请求,从而让集群告诉它那个Borker是管理它的协调者。
    ??具体发给那个Borker呢?理论上任何一个Borker都可以回答他的维问题。因为集群中的任何一个Borker都有整个集群的信息。不过一般这个请求是发给负载最小的Borker。

  2. 连接协调者时
    ??上一步的请求得到回应之后,消费者就知道了那个Borker是真正的协调者了。之后就会创建于协调者之间的Socket连接了。只有真正连入协调者才能开启正常的组协调操作。如:加入组,位移管理等。

  3. 消费数据时
    ??消费者会为每个要消费的分区创建与该分区领导者副本所在Broker连接的TCP。

创建几个连接

消费者程序会创建3类TCP连接:

  1. 确定协调者和获取集群元数据的连接
  2. 连接协调者,令其执行组成员管理操作的连接
  3. 实际的消息获取的连接。

何时关闭连接

??和生产者端相同,主类有两种:主动关闭连接和kafka自动关闭连接。
??如果手动的调用KafkaConsumer.close()方法,或者是执行Kill命令。就是主动关闭连接了。kafka的自动关闭是由消费者端参数connection.max.idle.ms控制的。该参数的默认值是9分钟。即如果某个Socker连接上连续9分钟没有请求的话就会自动关闭了。
??和生产者不同的是:如果在消费者程序中,你使用了循环的方式来调用poll方法消费消息。那上面的请求就会定期发送到Borker,因此Socket上也就可以保证一直由请求。也就实现了长连接。
??需要注意的是:当上面的第三类TCP连接成功之后,消费者程序会废弃第一类TCP连接,之后的定期请求元数据的请求改为第三类TCP连接。

  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2022-04-26 12:12:36  更:2022-04-26 12:14:00 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 3:48:16-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码