[大数据]Docker安装kafka&zookeeper

1、下载镜像

#下载zookeeper
docker pull wurstmeister/zookeeper

#下载kafka
docker pull wurstmeister/kafka

#下载kafka-manager,这个可以不用要
docker pull sheepkiller/kafka-manager

2、启动镜像

2.1、启动zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

2.2、启动kafka

docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.1.100:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka 

这里面主要设置了4个参数

KAFKA_BROKER_ID=0
KAFKA_ZOOKEEPER_CONNECT=192.168.1.100:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
中间两个参数的192.168.1.100改为宿主机器的IP地址或域名，如果不这么设置，可能会导致在别的机器上访问不到kafka。

格式化后，等同上方：

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.100:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka 

注意：这里的IP和下方的IP换成自己的IP即可。

启动成功如图所示：

?3、测试Kafka

进入docker的kafka容器

#进入容器
docker exec -it ${容器ID} /bin/bash

# 进入
cd /opt/kafka_2.12-2.3.0/

执行下面命令：

#1、查看当前服务器中的所有topic
bin/kafka-topics.sh --zookeeper 192.168.1.100:2181 --list

#2、创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.100:2181 --replication-factor 1 --partitions 1 --topic mykafka
选项说明：
--topic 定义topic名
--replication-factor  定义副本数
--partitions  定义分区数

#3、删除topic
bin/kafka-topics.sh --zookeeper 192.168.1.100:2181 --delete --topic mykafka
需要server.properties中设置delete.topic.enable=true否则只是标记删除。

#4、创建生产者，发送消息
bin/kafka-console-producer.sh --broker-list 192.168.1.100:9092 --topic mykafka
>hello world
>6666666

#5、创建消费者，消费消息（三种方式）
bin/kafka-console-consumer.sh --zookeeper 192.168.1.100:2181 --topic mykafka

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.100:9092 --topic mykafka

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.100:9092 --from-beginning --topic mykafka
# --from-beginning：会把主题中以往所有的数据都读取出来。

#6、查看某个Topic的详情
bin/kafka-topics.sh --zookeeper 192.168.1.100:2181 --describe --topic mykafka

#7、修改分区数
bin/kafka-topics.sh --zookeeper 192.168.1.100:2181 --alter --topic first --partitions 3

?4、查看topic的状态

在kafka容器中的opt/kafka_2.12-2.3.0/目录下输入

bin/kafka-topics.sh --describe --zookeeper 192.168.1.100:2181 --topic ${你的topic的names}

输出结果：

Topic:mykafka  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: mykafka Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0,1
    Topic: mykafka Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0,11

显示每个分区的Leader机器为broker0，在broker0和1上具有备份，Isr代表存活的备份机器中存活的。

当停掉kafka1后.

docker stop mykafka

再查看topic状态，输出结果：

Topic:mykafka  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: mykafka Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: mykafka Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0