[大数据] KafKa搭建

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> KafKa搭建 -> 正文阅读

[大数据]KafKa搭建

KafKa搭建

1.上传压缩包

在这里插入图片描述

2.解压，配置环境变量（master、node1、node2）

#解压
tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/

在这里插入图片描述

#配置环境变量
vim /etc/profile
#追加以下内容
#kafka
export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0
export PATH=$KAFKA_HOME/bin:$PATH

#分发到node1、node2中
scp /etc/ node1:/etc/
scp /etc/ node2:/etc/

#三台节点中刷新
source /etc/profile

在这里插入图片描述

3.修改配置文件

#修改config/server.properties
    1、broker.id=0，每一个节点broker.id 要不一样
	2、zookeeper.connect=master:2181,node1:2181,node2:2181
	3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data   消息存放的位置

在这里插入图片描述

4.分发到其它节点

scp -r kafka_2.11-1.0.0 node2:`pwd`
scp -r kafka_2.11-1.0.0 node1:`pwd`

5.修改每个节点中的broker.id master=0、node1=1、node2=2

node1

在这里插入图片描述

node2

在这里插入图片描述

6.启动

#启动前需要启动zookeeper(所有节点中启动)
zkServer.sh start

#查看状态
zkServer.sh status
#在每台节点中启动broker
kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

在这里插入图片描述