[大数据]Kafka1.1.x到2.5.x的升级点

2.0.x的显著变化

1. KIP-186 将默认偏移保留时间从 1 天增加到 7 天。这使得它不太可能在不经常提交的应用程序中“丢失”偏移量。它还增加了活动的偏移量集，因此可以增加代理的内存使用量。请注意，控制台使用者当前默认启用偏移提交，并且可能是大量偏移的来源，此更改现在将保留 7 天而不是 1 天。您可以通过将Broker配置设置offsets.retention.minutes为 1440 来保留现有行为。

   ## 参数调整为 100800 (7天)
   offsets.retention.minutes=10080
   

2. 已放弃对 Java 7 的支持，Java 8 现在是所需的最低版本。

3. max.connections.per.ip 配置最小值调整为0(以前是1)；
   max.connections.per.ip：允许来自每个 IP 地址的最大连接数 。之前最小值是1, 现在最小值可以是0, 因此允许对入站连接进行基于 IP 的过滤。max.connections.per.ip.overrides可以基于每个具体的IP来设置连接数

4. MirrorMaker 和 ConsoleConsumer 不再支持 Scala 消费者，它们始终使用 Java 消费者。

5. MirrorMaker 和 ConsoleConsumer 不再支持 Scala 消费者，它们始终使用 Java 消费者。
   ConsoleProducer 不再支持 Scala 生产者，它始终使用 Java 生产者。

6. request.timeout.ms 默认值改为30s，之前是5分钟

2.1.x的显著变化

1. unclean.leader.election.enable 支持动态更新配置,以启用脏选举
2. 新增一个新的压缩方式 ：Zstandard 压缩(zstd),您必须升级代理和客户端才能使用它

2.2.x的显著变化

1. 命令行工具可以使用 --bootstrap-server连接到Broker, 当然 --zookeeper仍然可以使用
2. 消费组GruopId 从默认值“” 改成 null. 使用新的默认Group ID 的消费者将无法订阅主题，也无法获取或提交偏移量,所以客户端尽量显示的提供消费组ID.

2.3.x的显著变化

无。

2.4.x的显著变化

1. ZooKeeper 已升级到 3.5.7
2. 、命令行bin/kafka-preferred-replica-election.sh工具已被弃用。它已被bin/kafka-leader-election.sh.
3. 现在DefaultPartitioner 使用粘性分区策略，3种分区策略

2.5.x的显著变化

1. 为了提高典型网络环境中的弹性，默认值 zookeeper.session.timeout.ms已从 6 秒增加到 18 秒， replica.lag.time.max.ms从 10 秒增加到 30 秒。

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系