操作

命令

备注

创建主题

./kafka-topics.sh --create --zookeeper ip1:port1,ip2:port3,ip3:port3 --replication-factor 3 --partitions 3 --topic topicName

replication-factor：副本数量，由于副本位于不同的broker上，因此该值不能超过broker的数量；replication采用均匀分配

增加分区

./kafka-topics.sh --alter --zookeeper ip1:port1,ip2:port3,ip3:port3??--topic topicName -- partitions 5

查看有哪些主题

./kafka-topics.sh --list --zookeeper ip1:port1,ip2:port3,ip3:port3

删除主题

./kafka-topics.sh --delete --zookeeper ip1:port1,ip2:port3,ip3:port3 --topic topicName

一键赋权

./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --add --allow-principal User:alice --consumer --topic=* --group=*

指定赋权

./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --add --allow-principal User:alice --operation Write --operation Read --operation describe --topic topicName

查看主题、消费组的授权信息

./kafka-acls.sh --authorizer-properties zookeeper.connect=ip1:port1,ip2:port3,ip3:port3 --list

查看主题分区、副本分布情况

./kafka-topics.sh --describe --zookeeper ip1:port1,ip2:port3,ip3:port3 --topic topicName

生产消息

./kafka-console-producer.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --topic rm_msg_jf --producer.config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties

低版本用broker-list，高版本用bootstrap-server

消费消息

./kafka-console-consumer.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --topic rm_msg_crm --group GbigDataTest --consumer.config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties

查看group的消费情况

./kafka-consumer-groups.sh --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --describe --group GbigDataTest --command-config=/home/siteqi/kfkapp/kafka/else_config/alice_producer.properties

查看哪些 group 正在消费

./kafka-consumer-groups.sh --list --bootstrap-server ip1:port1,ip2:port3,ip3:port3 --command-config=/home/kafka/else_config/alice_consumer.properties