|
kafka的消费者分区分配策略的客户端和服务端职责如下：
kafka消费者客户端实现具体的分区分配策略，然后把该策略的名称发送给服务端的groupCordinator进行选择，然后把选择好的分区分配策略发送给消费者组中的leader消费者，leader消费者实现具体的分区策略分配逻辑，然后把最终分区分配结果发送给groupCordinator，groupCordinator再把这个结果同步给其他的消费者，过程结束
了解了分区分配策略之后我们再来看一下怎么实现kafka的组内广播功能，首先定义一个自定义的分区分配的类，实现PartitionAssignator接口，实现接口中的方法时关键是要把每个主题的所有分区都分配给对应的消费者,也就是消费组中的每个消费者可以分配到所有的主题分区，这样就可以实现组组内广播的效果，但是这个组内广播最大的问题是如何提交消费偏移，后提交的消费偏移会覆盖之前提交的消费偏移，导致消费者重启的时候会丢失消息或者重复消费大量的消息,所以针对这种情况，客户端自己要管理消费偏移的提交 --注意：我们这里所说的消费者客户端互相覆盖是真实的，在不同客户端提交偏移的时候就会真实发生，但是为什么不同的客户端在不重启的情况下不会有问题呢？原因是因为虽然提交的偏移会覆盖，但是每个客户端每次根据自身偏移量获取消息内容的时候是和客户端本地变量关联的，每个客户端的本地offset变量是一直递增下去的，并且不同客户端之间互不影响，所以问题只发生在消费者客户端重启，本地变量值已经不存在了，此时这个消费者客户端需要从kafka的_offset_偏移主题中获取消费组的偏移量作为这个客户端的起始偏移地址,这样才会开始出问题.
|