[大数据]Kafka分布式集群部署

目标：

实现Kafka分布式集群的搭建部署

路径：

step1：选择版本
step2：下载解压安装
step:3：修改配置文件

实施：

step1：版本的选型

• 0.8.x：老的版本，很多的问题
• 0.10.x +：消息功能上基本没有问题
• 选择：kafka_2.12-2.4.1.tgz
  • Kafka：2.4.1
  • Scala：2.12，Kafka是由Scala语言开发

step2：下载解压安装

• 下载地址：http://archive.apache.org/dist/kafka/

• 上传到第一台机器

  cd /export/software/
  rz
  

• 解压

  tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
  cd /export/server/kafka_2.12-2.4.1/
  mkdir logs
  

  • bin：一般用于存放客户端操作命令脚本
  • sbin：一般用于存放集群的启动和关闭的命令脚本，如果没有这个命令，脚本放在bin目录中
  • conf/etc/config：配置文件目录
  • lib：jar包的存放目录
  • logs：一般用于存放服务日志

step3：修改配置

• 切换到配置文件目录

  cd /export/server/kafka_2.12-2.4.1/config
  

• 修改server.properties

  #21行：唯一的 服务端id
  broker.id=0
  #60行：指定kafka的日志及数据【segment【.log,.index】】存储的位置
  log.dirs=/export/server/kafka_2.12-2.4.1/logs 
  #123行：指定zookeeper的地址
  zookeeper.connect=node1:2181,node2:2181,node3:2181
  #在最后添加两个配置，允许删除topic，当前kafkaServer的主机名
  delete.topic.enable=true
  host.name=node1
  

• 分发

  cd /export/server/
  scp -r kafka_2.12-2.4.1 node2:$PWD
  scp -r kafka_2.12-2.4.1 node3:$PWD
  

• 第二台：server.properties

  #21行：唯一的 服务端id
  broker.id=1
  #最后
  host.name=node2
  

• 第三台：server.properties

  #21行：唯一的 服务端id
  broker.id=2
  #最后
  host.name=node3
  

• 添加环境变量

  #进入文件
  vim /etc/profile
  
  #修改内容
  #KAFKA_HOME
  export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
  export PATH=:$PATH:$KAFKA_HOME/bin
  
  #刷新文件
  source /etc/profile