Kafka官网

Apache Kafka

下载地址 https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz

Kafka架构

?主要有kafka broker本身用来存消息，生产者producer发送消息,消费者consumer消费消息，zookeeper管理配置文件.

集群搭建

1.下载软件

在 /usr/local目录下

mkdir kafka

wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz

将安装包下载到该目录

解压该安装包

tar -zxvf ?kafka_2.13-3.2.0.tgz

复制3份安装包(我这里就在一台机器实验，搭建伪集群了)

cp -r kafka_2.13-3.2.0??kafka_01

cp -r kafka_2.13-3.2.0??kafka_02

cp -r kafka_2.13-3.2.0??kafka_03

2.修改配置文件

kafka_01 server.properties 需要改的地方

broker.id=1

delete.topic.enable=true

log.dirs=/usr/local/kafka/kafka_01/logs

listeners=PLAINTEXT://10.118.118.18:9092

#如果zookeeper是集群的，用,分割比如192.168.0.1:2181,192.168.0.2:2181

zookeeper.connect=10.118.188.18:2181

kafka_02 server.properties 需要改的地方

broker.id=2

delete.topic.enable=true

log.dirs=/usr/local/kafka/kafka_01/logs

listeners=PLAINTEXT://10.118.118.18:9093

#如果zookeeper是集群的，用,分割比如192.168.0.1:2181,192.168.0.2:2181

zookeeper.connect=10.118.188.18:2181

kafka_03 server.properties 需要改的地方

broker.id=3

delete.topic.enable=true

log.dirs=/usr/local/kafka/kafka_01/logs

listeners=PLAINTEXT://10.118.118.18:9094

#如果zookeeper是集群的，用,分割比如192.168.0.1:2181,192.168.0.2:2181

zookeeper.connect=10.118.188.18:2181

#依次启动kafka,最好写个shell脚本批量打开和关闭

./bin/kafka-server-start.sh -daemon??../config/server.properties

-daemon表示后台运行，不加就会运行在前台，ctrl+c就会关闭当前kafka进程了

使用jps命令可以查看当前运行的进程，或者?ps -ef|grep 'kafka'

批量启动kafka脚本

#!/bin/bash
./kafka_01/bin/kafka-server-start.sh -daemon  ./kafka_01/config/server.properties
echo "kafka_01开始启动"
./kafka_02/bin/kafka-server-start.sh -daemon  ./kafka_02/config/server.properties
echo "kafka_02开始启动"
./kafka_03/bin/kafka-server-start.sh -daemon  ./kafka_03/config/server.properties
echo "kafka_03开始启动"
jps

批量关闭kafka脚本

#!/bin/bash
./kafka_01/bin/kafka-server-stop.sh stop
echo "kafka_01 stop"
./kafka_02/bin/kafka-server-stop.sh stop
echo "kafka_02 stop"
./kafka_03/bin/kafka-server-stop.sh stop
echo "kafka_03 stop"
jps

批量这里可能会报一个错：

No kafka server to stop

修改kafka-server-stop.sh脚本，将如下内容：
PIDS=$(ps ax | grep -i 'kafka.Kafka' | grep java | grep -v grep | awk '{print $1}')
修改为：
PIDS=$(jps -lm | grep -i 'kafka.Kafka'| awk '{print $1}')
?