????????Kakfka是高吞吐量的分布式发布订阅消息系统。具备高吞吐、持久化、分布式等优秀特性。下面我们先根据下图对Kafka系统中的组件逐一介绍，再结合组件阐述其工作过程，以及各类特性实现。
Kafka系统组件
? ? ? ? ?1）Producer：生产者，数据的发布者，将消息发布到Kafka的topic中。
? ? ? ? 2）Broker：服务器节点被称为Broker，每个服务器上有一个或多个kafka的实例。
? ? ? ? 3）Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。
? ? ? ? 4）Partition：Topic中的数据分割为一个或多个partition，每个topic至少有一个partition。
? ? ? ? ? ? ? ? 每个Partition中数据使用多个segment文件存储，同一个Partition中数据是有序的，不同的Partition无法保证有序
? ? ? ? 5）Consumer：消费者，从broker中读取数据，可以消费多个topic中的数据。
? ? ? ? 6）Consumer Group：每个Consumer属于一个特定的Consumer Group。
????????????????通过该分组实现了消息的广播与单播，同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。
? ? ? ? 7）Leader：Kafka的副本机制，每一个Partition有多个副本，仅有一个leader，负责当前数据的读写。
? ? ? ? 8）Follower：与Leader保持数据同步。
? ? ? ? 9）zookeeper：?集群管理，元数据管理，Broker 注册、Topic注册、生产者负载均衡，消费者负责均衡。
Kafka数据写入
? ? ? ? 1）Producer从Zookeeper中获取Partition的Leader；
? ? ? ? ? ? ? ? Producer发送消息到Broker时，按照一定路由机制选取Partition，路由机制有：
? ? ? ? ? ? ? ? ? ? ? ? a.直接使用指定的Partition；
? ? ? ? ? ? ? ? ? ? ? ? b.指定Key，通过对Key的Value值Hash选取一个Partition；
? ? ? ? ? ? ? ? ? ? ? ? c.轮询选出一个Partition。
? ? ? ? 2）Producer将消息发送给Leader，Leader写入本地文件；
? ? ? ? 3）Follower从Leader处Pull消息写入本地后向Leader发生ACK；
? ? ? ? 4）Leader收到所有副本的ACK后，增加HW，并向Producer发送ACK。
Kafka数据存储
? ? ? ? 1）Partition分区
? ? ? ? ? ? ? ? 每一条Message 包含了以下三个属性：offset，MessageSize，data
? ? ? ? 2）segment分段
? ? ? ? ? ? ? ? 多个segment组成一个Partition，每个segment数据文件以该段中最小的offset 命名，文件扩展名为.log。这一在查找指定的offset，可以通过二分法查找
? ? ? ? 3）数据文件索引
? ? ? ? ? ? ? ? 每一个segment文件对应了一个同名的.index文件，并且在索引文件中每隔一定的字节简历一个索引，即稀疏索引。