| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 重新安装kafka集群 -> 正文阅读 |
|
[大数据]重新安装kafka集群 |
好久都没碰kafka了,为了项目系列的学习,我打算全部 弄一遍组件,所以需要重装一下kafka。 在重装kafka之前,需要预删除一些东西 大数据生态分布式组件,既然涉及到了分布式,在信息和技术更新迭代如此之快的这个时代里,肯定不是单打独斗,独立存在的,kafka里面就涉及到了管理者(工地头子)【如下图】 预删除zookeeper里面的如下组件 登录zookeeper的cli,使用rmr path 命令删除以下节点信息即可 rmr? path? 删除此节点及其子文件夹信息 cluster:kafka集群信息 在kafka的安装目录下,进入cli控制行: 查看所有的节点: 删除关于kafka的所有节点: 在其他节点机器? 登录 查看是否已经删除成功: 预删除掉kafka的数据存储文件夹 可以去到kafka的配置文件里面查看当时安装kafka时所配置的数据存储目录: vi 配置文件: /log 搜索,kafka中的数据是以日志形式存储的,按n查询匹配下一个 查询到当时所配的数据存储目录在/opt/kafkaData,可以看到该目录还是有很多文件的 删除掉所有机器上的此目录下的所有数据 删除kafka安装目录 去镜像网站上下载安装包 解压到app目录 接下来,就是配置kafka集群了 vi config下的server.properties 步骤: 配置以下东西
它只要求独一无二的id即可,linux分配1 数据存储位置 指定zookeeper的位置 设置数据存储有效时间 为了后面项目实践,我刻意将数据的有效期设置了很长时间,(kafka默认数据存放时间为7天即168个小时)当满足上图中任一条件,数据将会被删除。 将配置好的kafka分发给其他机器 修改linux02和linux03上的borkerid 写一个启动脚本,用于一键启动kafka服务。
成功启动三台机器的kafka! 下面试验一下集群的正常性,在linux01上创建一个名为test的topic,分别在linux02和linux03上查看是否存在。 ./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --create --topic test --replication-factor 2 --partitions 6 分别在linux02和linux03上查看topic 至此,验证结束,kafka集群重装完成! |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/17 18:47:09- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |