[大数据]kafka的基本操作（命令行操作）

目录

一：准备

二：kafka的基本操作（命令行操作）

一：准备

1.安装kafka

操作：kafka单机和集群（全分布）的安装部署过程_一个人的牛牛的博客-CSDN博客

2.安装zookeeper

操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客

3.启动zookeeper

在zookeeper目录下执行：

bin/zkServer.sh start

如果是集群每一台都需要执行启动命令！！?

验证：?jps看到QuorumPeerMain进程就已经启动成功！！！

4.启动kafka（在kafka目录下）（需要先启动zookeeper）

bin/kafka-server-start.sh -daemon config/server.properties

如果是集群每一台都需要执行启动命令！！

?验证：jps查看进程都有kafka进程就启动成功了1.！！！
?

二：kafka的基本操作（命令行操作）

1.查看当前服务器中的所有topic（在kafka目录下）

kafka-topics.sh --zookeeper hadoop001:2181 --list

2.创建主题topic（在kafka目录下）

如：test

bin/kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test

?如：second

bin/kafka-topics.sh --zookeeper hadoop001:2181 --create --replication-factor 1 --partitions 3 --topic second

3.删除topic（在kafka目录下）

如：test

bin/kafka-topics.sh --zookeeper hadoop001:2181 --delete --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除。

4.启动控制台生产者（在kafka目录下）

如：test

bin/kafka-console-producer.sh --broker-list hadoop001:9092 --topic test

5.启动控制台消费者（在kafka目录下）（需要另外打开一个终端）

如：test

bin/kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning

?我们一般先运行消费者，再去运行生产者

topic为second发送消息

topic为second消费消息

?

?6.查看某个topic的详情（在kafka目录下）

如：test

?bin/kafka-topics.sh --zookeeper hadoop001:2181 --describe --topic test

?7.修改分区数（在kafka目录下）

如：test

bin/kafka-topics.sh --zookeeper hadoop001:2181 --alter --topic test --partitions?6

8.说明：

hadoop001?我的主机名

2181?端口

--topic 定义topic名

--replication-factor? 定义副本数

--partitions? 定义分区数

?--from-beginning：会把主题中以往所有的数据都读取出来