[大数据]kafka笔记

kafka（消息队列、消息总线、数据存储平台、）

概念

topic(mysql数据库), 分区partition（mysql数据表）， 消息message（一条mysql记录）

kafka依赖的环境

linux, java jdk， java开发的kafka, zookeeper

zookeeper: 保存kafka集群的元数据(broker和topic的元数据)和消费者信息；kafka正常的消息数据是保存在磁盘上的

磁盘(吞吐量和容量)影响生产者，内存影响消费者, 网络吞吐量影响也比较大，

kafka配置调优

操作系统os调优

虚拟内存、网络子系统、磁盘、网络

调整JVM参数

垃圾回收器参数