[大数据]kafka简介

kafka为何高性能

Kafka基于zero copy原则，深度依靠操作系统内核实现快速移动数据。Kafka能将数据记录分批处理。这些批次数据可以通过端到端的方式从生产者到文件系统（Kafka主题日志）再到消费者。批处理能实现更高效的数据压缩并减少I / O延迟。Kafka将不可变的提交日志写入连续磁盘，从而避免了随机磁盘访问和磁盘寻道速度慢的问题。Kafka支持增加分区进行横向扩展。它将主题日志分成几百个（可能有数千个）分区分布到数千个服务器。这种方式可以让Kafka承载海量负载。

kafka能用来做什么

Kafka用于流处理、网站活动跟踪、度量收集和监视、日志聚合、实时分析、CEP、将数据注入Spark和Hadoop、CQRS、重放消息、错误恢复以及分布式提交内存计算（微服务）的日志。

Kafka Broker 低延时地处理和分析海量信息流

KafkaStreaming 实时分析

Kafka最初是由LinkedIn开发，用它来跟踪活动数据和运营指标。Twitter把它作为Storm的一部分来作为流处理的基础。Square把Kafka当作总线，将所有系统事件（日志，自定义事件，指标等）传输到各个Square数据中心，或者输出到Splunk，或者应用于Graphite（仪表板），或者实现Esper-like/ CEP警报系统。Spotify，Uber，Tumbler，Goldman Sachs，PayPal，Box，Cisco，CloudFlare和Netflix等公司也都在使用它。

工作机制

① topic：Kafka 中消息是以 topic 进行分类的， 生产者生产消息，消费者消费消息，都是面向 topic的。

② partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；每个partition是一个有序的队列；如 TopicA主题内有3个分区partition0~partition2分别分布在broker0~broker2上。

③ replication：为保证集群中的某个节点发生故障时， 该节点上的 partition数据不丢失 ， 且 kafka 仍然能够继续工作， kafka提供了副本机制，一个 topic的每个分区都有若干个副本，一个leader 和若干个follower，并且leader和follower需要分布在不同的服务器上。

④ leader和follower：生产者发送数据的对象，以及消费者消费数据的对象都是 leader，follower会实时的从leader 中同步数据，保持和 leader 数据的同步。leader发生故障时，某个 follower 会成为新的leader。

⑤consumer group： 消费者组中由多个消费者组成，每个消费者负责消费不同分区内的数据， 同一个消费者组内的两个消费者不能消费同一分区内的内容。也就是说不同的消费者消费不同的分区消息。

⑥ 一个消息可以被多个消费者组消费，但是只能被一个消费者组里的一个消费者消费

kafka事务

当用户使用 Kafka 的事务性时，Kafka 可以做到的保证：

跨会话的幂等性写入：即使中间故障，恢复后依然可以保持幂等性； 跨会话的事务恢复：如果一个应用实例挂了，启动的下一个实例依然可以保证上一个事务完成（commit 或者 abort）； 跨多个 Topic-Partition 的幂等性写入，Kafka 可以保证跨多个 Topic-Partition 的数据要么全部写入成功，要么全部失败，不会出现中间状态。

Server 端事务状态管理 Client 端事务状态管理

Transaction Producer 在 initializeTransactions() 方法中会向 TransactionCoordinator 发送 InitPidRequest 请求获取其分配的 PID，有了 PID，事务写入时可以保证幂等性

Fencing 机制解决的主要也是这种类型的问题 —— 脑裂问题，简单来说就是，本来系统这个组件在某个时刻应该只有一个处于 active 状态的，但是在实际生产环境中，特别是切换期间，可能会同时出现两个组件处于 active 状态，这就是脑裂问题，在 Kafka 的事务场景下，用到 Fencing 机制有两个地方：

TransactionCoordinator Fencing； Producer Fencing；

Last Stable Offset（LSO）

在事务机制的实现中，Kafka 又设置了一个新的 offset 概念，那就是 Last Stable Offset，简称 LSO（其他的 Offset 概念可参考 Kafka Offset 那些事），先看下 LSO 的定义：

The LSO is defined as the latest offset such that the status of all transactional messages at lower offsets have been determined (i.e. committed or aborted).

Consumer 拉取到的数据，在处理时，其 offset 是严格有序的； 同一个?txn.id（PID 相同）在某一个时刻最多只能有一个事务正在进行；

Rebalance 机制

Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。

例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分区。这个分配的过程就是 Rebalance。

Rebalance 的触发条件有3个。

组成员个数发生变化。例如有新的 consumer 实例加入该消费组或者离开组。 订阅的 Topic 个数发生变化。 订阅 Topic 的分区数发生变化。 Rebalance 发生时，Group 下所有 consumer 实例都会协调在一起共同参与，kafka 能够保证尽量达到最公平的分配。但是 Rebalance 过程对 consumer group 会造成比较严重的影响。在 Rebalance 的过程中 consumer group 下的所有消费者实例都会停止工作，等待 Rebalance 过程完成。