1.下载对应的文件,比如kafka_2.13-2.7.1.tgz(不同版本可能修改server.properties的方式不同) 2.修改config/server.properties文件(其中包括的字段有broker.id,log.dirs,zookeeper.connect),如下所示: 记得创建日志文件夹kafka-logs 3.然后将kafka文件夹传送到其他两台机器 4.修改config/server.properties文件中的broker.id 5.执行如下相应的命令
//创建主题
/usr/local/apache/kafka_dir/kafka_2.13-2.7.1/bin/kafka-topics.sh --zookeeper 10.0.3.153:2181,10.0.3.132:2181,10.0.3.134:2181 --create --replication-factor 2 --partitions 3 --topic userlog
//查看所有主题
/usr/local/apache/kafka_dir/kafka_2.13-2.7.1/bin/kafka-topics.sh --zookeeper 10.0.3.153:2181,10.0.3.132:2181,10.0.3.134:2181 --list
//查看主题
/usr/local/apache/kafka_dir/kafka_2.13-2.7.1/bin/kafka-topics.sh --zookeeper 10.0.3.153:2181,10.0.3.132:2181,10.0.3.134:2181 --describe --topic userlog
//启动生产者
/usr/local/apache/kafka_dir/kafka_2.13-2.7.1/bin/kafka-console-producer.sh --broker-list 10.0.3.153:9092,10.0.3.132:9092,10.0.3.134:9092 --topic userlog
//启动消费者
/usr/local/apache/kafka_dir/kafka_2.13-2.7.1/bin/kafka-console-consumer.sh --bootstrap-server 10.0.3.153:2181,10.0.3.132:2181,10.0.3.134:2181 --topic userlog --from-beginning
有关消费者的脚本请注意以下情况
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
./bin/kafka-console-consumer.sh --bootstrap-server 10.1.3.xxx:9092 --topic test --from-beginning
//关闭kafka
kafka-server-stop.sh
安装遇到的问题
1.在启动kafka如果出现超时等待连接的错误,如下。你需要做的是source /etc/profile
2.在启动kafka如果出现已经有一个进程或者线程在执行,如下图所示,请先执行kafka-server-stop.sh,然后将窗口关闭,重新连接即可。然后再次启动kafka,就没什么问题了。
单机中搭建Kafka
只需要在集群搭建的基础上修改配置文件server.properties,将zookeeper.connect的值改为相应机器的ip:port。如下图: 在单机中,生产者和消费者不会出现问题。如下图:
|