一、kafka基础内容

先了解下基础的概念
主题（Topic）
主题是承载消息的容器，我们发布与订阅的对象就是主题，在实际的应用中通常会按照业务去划分不同的主题。

分区（Partition）
每个主题可以有多个分区，分区数量可以在创建主题时定义。
消息位移（Offset）表示每个分区中每条消息的位置信息，是一个单调递增且不变的值。

副本（Replica）
顾名思义是同一条消息的备份数据存放的地方。kafka的副本分为领导者副本和追随者副本。副本是在分区层级下的，即每个分区可配置多个副本实现高可用。

生产者（Producer）
向主题发布新消息的应用。

消费者（Consumer）
从主题订阅新消息的应用。

集群节点（Broker）
一个kafka集群由一个或者多个broker组成，集群的基本组成单位

消费者组（Consumer Group）
多个消费者实例共同组成的一个组，每个组中的实例只能消费一次消息。

重平衡（Rebalance）
消费者组内某个消费者实例挂掉后，其他消费者实例自动重新分配订阅主题分区的过程。Rebalance 是 Kafka 消费者端实现高可用的重要手段。

说完了基础的概念，那么kafka是怎么通过以上的模块进行运作的呢？
首先，kafka的发布与订阅都是针对于topic来说的，不同的应用程序，producer创建的数据与cunsumer的消费数据都是通过topic来进行生产与消费。
kafka会将topic分成多个partition，存放于不同的broker的目录中，这其中的目的有很多，比如说为了水平扩展提升性能，为了数据的不丢失等。producer产生的每个消息都会通过不同的负载均衡策略发送到不同的partition中去。
对于partition来说，他是需要设置不同的副本的，每个partition必须要有一个领导者副本和多个追随者副本。领导者副本是对外提供数据，追随者副本仅仅用于做数据备份。而Offset则是表明当前副本已经消费到的位置。
最后，如果消费者组有实例挂掉了，那么kafka会自动触发重平衡。

二、kafka 中重要的参数配置

2.1、log.dirs

Broker 中存放数据的目录集合。
通过这个参数可以配置多个数据存放目录。为什么要配置多个目录，目的是为了实现故障转移。

2.2、unclean.leader.election.enable

是否允许 Unclean Leader 选举。
正常的生产配置中，这个参数是配置成fasle的。上文有说道partition中有分领导者副本和追随者副本，这个参数就是为了在领导者副本挂了的时候起作用的。所谓的Unclean副本，指的就是落后于领导者副本进度过多的副本，没有处于In-sync Replicas副本集合中（这块内容后续分析）。如果配置成ture，一旦unclean副本竞选领导者副本成功了，那么kafka有可能会丢失数据。