IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 重新安装kafka集群 -> 正文阅读

[大数据]重新安装kafka集群

首先很感谢大家的垂爱,从当初收回学校运营的这个公众号到后面自己专注于大数据技术公众号,也快一年了,不知不觉粉丝的个数已经从当初的两三百到千级别了,其实一直没怎么精心去运营,只想着权当把微信公众号这个平台当做树洞,当做日记,来分享自己的一次次学习,一次次跳坑,一次次成长。一路走来,有人离开,有人陪伴,虽然我身体上是孤独的,但是精神上却一直是充实的,没有大号主的扶持、没有精心的运营、没有软文式的广告,只想默默跟大家一起学习,目前只有大成子也就是号主本人一直在运营,如果有志同道合的同鞋想一起学习,平常也愿意分享分享自己的学习,可以私信我。

好久都没碰kafka了,为了项目系列的学习,我打算全部 弄一遍组件,所以需要重装一下kafka。

在重装kafka之前,需要预删除一些东西

大数据生态分布式组件,既然涉及到了分布式,在信息和技术更新迭代如此之快的这个时代里,肯定不是单打独斗,独立存在的,kafka里面就涉及到了管理者(工地头子)【如下图】

预删除zookeeper里面的如下组件

登录zookeeper的cli,使用rmr path 命令删除以下节点信息即可

rmr? path? 删除此节点及其子文件夹信息

cluster:kafka集群信息
config:配置信息
consumer:消费者信息
producer:生产者信息
brokers :集群几点信息,topic信息
admin:删除的topic
controller:控制节点的broker.id
controller_epoch:集群经过了多少次controller选取
isr_change_notification
latest_producer_id_block

在kafka的安装目录下,进入cli控制行:

查看所有的节点:

删除关于kafka的所有节点:

在其他节点机器? 登录 查看是否已经删除成功:

预删除掉kafka的数据存储文件夹

可以去到kafka的配置文件里面查看当时安装kafka时所配置的数据存储目录:

vi 配置文件:

/log 搜索,kafka中的数据是以日志形式存储的,按n查询匹配下一个

查询到当时所配的数据存储目录在/opt/kafkaData,可以看到该目录还是有很多文件的

删除掉所有机器上的此目录下的所有数据

删除kafka安装目录

去镜像网站上下载安装包

解压到app目录

接下来,就是配置kafka集群了

vi config下的server.properties

步骤:

配置以下东西

  • broker的id
  • 数据存储的目录
  • 指定zookeeper的位置
  • 数据的过期时间

它只要求独一无二的id即可,linux分配1

数据存储位置

指定zookeeper的位置

设置数据存储有效时间

为了后面项目实践,我刻意将数据的有效期设置了很长时间,(kafka默认数据存放时间为7天即168个小时)当满足上图中任一条件,数据将会被删除。

将配置好的kafka分发给其他机器

修改linux02和linux03上的borkerid

写一个启动脚本,用于一键启动kafka服务。

# !/bin/bash
arg=$1
if [ $arg="start" ]
then 
for hostname in linux01 linux02 linux03
do
ssh $hostname "source /etc/profile;/opt/apps/kafka_2.12-2.7.0/bin/kafka-server-start.sh -daemon /opt/apps/kafka_2.12-2.7.0/config/server.properties;exit"
done
else
for hostname in linux01 linux02 linux03
do
ssh $hostname "source /etc/profile;/opt/apps/kafka_2.12-2.7.0/bin/kafka-server-stop.sh -daemon /opt/apps/kafka_2.12-2.7.0/config/server.properties;exit"
done
fi

成功启动三台机器的kafka!

下面试验一下集群的正常性,在linux01上创建一个名为test的topic,分别在linux02和linux03上查看是否存在。

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --create --topic test --replication-factor 2 --partitions 6

分别在linux02和linux03上查看topic

至此,验证结束,kafka集群重装完成!

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-05 20:22:40  更:2021-07-05 20:23:10 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/1 18:43:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码