[大数据]Kafka 0.11.0.3 集群搭建

5、Kafka0.11.0.3环境搭建

• 基于Zookeeper搭建并开启

【123】zkServer.sh start

5.1、配置Kafka

• 上传解压拷贝

  [root@node01 ~]# tar -zxvf kafka_2.12-0.11.0.3.tgz
  [root@node01 ~]# rm -rf kafka_2.12-0.11.0.3.tgz
  [root@node01 ~]# mv kafka_2.12-0.11.0.3 /opt/yjx/
  [root@node01 ~]# cd /opt/yjx/kafka_2.12-0.11.0.3/config
  

5.2、修改配置文件

[root@node01 config]# vim server.properties

## 修改
## node01:0;node02:1;node03:2
[21]  broker.id=0 
## 写自己的本机IP地址
[35]  listeners=PLAINTEXT://192.168.88.101:9092
[63]  log.dirs=/var/yjx/kafka-logs
[126] zookeeper.connect=node01:2181,node02:2181,node03:2181

5.3、将文件目录拷贝到其他机器

[root@node02 ~]# scp -r root@node01:/opt/yjx/kafka_2.12-0.11.0.3 /opt/yjx/
[root@node03 ~]# scp -r root@node01:/opt/yjx/kafka_2.12-0.11.0.3 /opt/yjx/

[root@node02 ~]# vim /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties

## 修改id与IP地址
broker.id=1
listeners=PLAINTEXT://192.168.88.102:9092

[root@node03 ~]# vim /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties

## 修改id与IP地址
broker.id=2
listeners=PLAINTEXT://192.168.88.103:9092

5.4、修改环境变量

[123]# vim /etc/profile

## 在最后一行添加
export KAFKA_HOME=/opt/yjx/kafka_2.12-0.11.0.3
export PATH=$KAFKA_HOME/bin:$PATH

[123]# source /etc/profile

5.5、启动集群

• 如果zookeeper集群启动了，启动kafka集群；否则先启动zookeeper集群

  [123]# zkServer.sh start
  [123]# kafka-server-start.sh /opt/yjx/kafka_2.12-0.11.0.3/config/server.properties
  

5.6、常见命令

• //创建主题

  • [root@node01 ~]# kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 2 --partitions 3 --topic userlog
    [root@node01 ~]# kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 2 --partitions 6 --topic studentlog
    

• //删除主题

  • [root@node01 ~]# kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 2 --partitions 6 --topic studentlog
    

• //查看所有主题

  • [root@node01 ~]# kafka-topics.sh --zookeeper node01:2181 --list
    

• //查看主题

  • [root@node01 ~]# kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --describe --topic userlog
    

• //创建生产者

  • [root@node01 ~]# kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic userlog
    

• //创建消费者

  • [root@node01 ~]# kafka-console-consumer.sh --zookeeper node01:2181,node02:2181,node03:2181 --from-beginning --topic userlog
    

5.7、关机拍照

• 将kafka进程关闭 Ctrl+C
• 关闭zookeeper [123]# zkServer.sh stop
• 关机 [123]# shutdown -h now
• 拍摄快照