IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> centos上的kafka集群搭建 -> 正文阅读

[系统运维]centos上的kafka集群搭建

选举依赖于zookeeper,所以前提需要安装了zookeeper。参考文档 zookeeper集群的安装

一:下载安装包

Apache Kafka

本文以 kafka_2.12-1.0.2.tgz 为例

解压安装到各个节点上

本文是以在一个节点 (node121)安装配置后,使用rsync命令道其他节点

tar -zxvf kafka_2.12-1.0.2.tgz -C /opt/cluster/server

二:配置环境变量

vi /etc/profile

将kafka的安装路径配置到path变量里

export KAFKA_HOME=/opt/cluster/server/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

三: 编辑server端的配置文件

在 kafka_2.12-1.0.2/config里面的 server.config,配置

broker.id=1   # broker在集群的唯一标志,类似身份证。可以是任意integer值,但必须唯一
zookeeper.connect=node121:2181,node122:2181,node123:2181  #依赖的zookeeper集群地址
listeners=PLAINTEXT://192.168.186.123:9092 #  broker节点的ip地址,以及对外服务端口.PLAINTEXT在这里既是变量名,也是通讯协议名
log.dir=/opt/cluster/data/kafka-log  # kafka的数据存储路径


############## 上面是必须配置的 ######## 下面的配置是实现内外网隔离,较少用到。#########

# 监听器名称和安全协议的映射配置。
# ?如,可以将内外?隔离,即使它们都使?SSL。
listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL # 这么配置的意思是INTERNAL和EXTERNAL都使用了SSL协议,也可以定义其他的协议。

inter.broker.listener.name=EXTERNAL  # 内部broker间的通信使用的监听器,EXTERNAL在上面是定义了SSL协议
advertised.listeners=://192.168.186.123:9092 # 暴露给外网的服务地址,如果没有配置,则用上面的listeners配置值

四: 将安装目录复制到其他节点

scp -r /opt/cluster/server/kafka_2.12-1.0.2  node122:/opt/
scp -r /opt/cluster/server/kafka_2.12-1.0.2  node123:/opt/

scp /etc/profile node122:/etc/
scp /etc/profile node123:/etc/

五: 在另外的节点上更改下 server.config的broker_id值,确保唯一

这里是? node121: 1

node122: 3

node123: 3

六: 启动验证

1- 启动zookeeper

在各个节点上启动zookeeper,执行

 zkServer.sh start

2- 启动kafka

在各个节点上执行

 kafka-server-start.sh -daemon /opt/cluster/server/kafka_2.12-1.0.2/config/server.properties

3- 查看后台进程

 ps aux | grep kafka

4- 执行kafka命令

例如:创建topic

sh kafka-topics.sh --zookeeper node121:2181,node122:2181,node123:2181 --create --topic test1 --partitions 3 replication-factor 1

查看topic列表

sh kafka-topics.sh --zookeeper node121:2181,node122:2181,node123:2181 --list

?

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-12-15 18:43:00  更:2021-12-15 18:43:08 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 5:43:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码