IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> kafka集群环境部署准备工作 -> 正文阅读

[系统运维]kafka集群环境部署准备工作

kafka集群部署fabric

闲话:这一步先做一些准备工作,因为集群部署涉及很多东西,这里把基础打好,然后可以运行集群。


当时没有虚拟机,使用现实的物理机,没有太多资金来构建一个集群。所以当时分析需要4台服务器打基础,一台作为peer节点,此外还有一台是作为新节点来测试动态加入的。请注意这是最低要求,一般来讲一个正式的kafka集群需要8台服务器,其中包含:

三个order节点
三个zookeeper节点
四个kafka节点
两个组织,其中每个组织有两个peer节点

整体大致架构如下:

在这里插入图片描述

第一步 修改hosts文件

按照上一篇博文记录,设置了8台虚拟机,其中ip节点都是上一篇文章教程中设置过的。那么接下来就一一修改每一台服务器的host文件。

vim   /etc/hosts

然后将一下配置放进去:

192.168.137.128   kafka0
192.168.137.129   kafka1
192.168.137.130   kafka2
192.168.137.131   kafka3
192.168.137.132   org1.peer0
192.168.137.133   org1.pper1
192.168.137.134   org2.peer0
192.168.137.135   org2.peer1

192.168.137.128   orderer0
192.168.137.129   orderer1
192.168.137.130   orderer2

192.168.137.128   zookeeper0
192.168.137.129   zookeeper1
192.168.137.131   zookeeper2

在这里插入图片描述

然后,针对于每一台需要加入集群的服务器,都按照此步骤执行一次,并且保证内容一致


第二步 配置免密登录

这一步操作默认是在kafka0服务器,也就是IP地址为192.168.137.128这台服务器上。

在环境部署过程中,有时需要服务器与服务器之间传输文件,当然你完全可以先下载到电脑上,然后再传到其他服务器上面去,但是过程未免繁琐。这一步请保证在上一步完成的基础上进行。

首先,免密登录需要root权限。在我们root目录下,可以看到有.ssh这么一个隐藏文件:
在这里插入图片描述
我们进入这个目录之后,生成公私钥:

cd  .ssh
ssh-keygen

然后我们连续三个回车,默认不设置密码
之后会在下面生成 id_rsa.pub 和 id_rsa 两个文件。
我们将公钥上传到其他的服务器,举个例子这里上传到

ssh-copy-id root@kafka1

或者

ssh-copy-id root@192.168.137.129

然后总共8台服务器,对其他7台都依次上传一下公钥。构建环境涉及传输一些文件到其他服务器,下一步会讲到,这里传输文件主要是kafka0这台机器对其他服务器传输。大家也可以将其他几台都配置一下。

第三步 文件准备

首先下载我写好的一些配置文件,这里贴出来:

链接:https://pan.baidu.com/s/12ek6asJpRyPmB5u6kvl-NA
提取码:35jv

这里面包含了 kafka0 到 org2peer1 总共八台服务器的所有配置文件。
在这里插入图片描述
统一都是上传到服务器这个目录下面,如果没有kafkapeer这个目录自己创建一个即可。

cd /opt/gopath/src/github.com/hyperledger/fabric/kafkapeer/

先下载到本地电脑上,不慌上传到服务器,在下一篇我会讲明集群搭建流程。


准备工作差不多就是这样,如果未曾按照我的教程走的,可能是yaml文件里面具体涉及到的一些ip地址需要填写你自己的实际使用地址,也可能gopath那些环境变量需要写成自己的。此外,虽然我这里采用的是3kafka + 3zookeeper + 4orderer + 两个组织四个peer的模式,但实际上你甚至可以只用一个组织,里面只包含一个peer,当然这就需要进一步修改configtx.yaml文件以及crypto-config.yaml (因为这两个配置文件是写了两个组织的,你如果只有一个组织就删掉一个),此外peer的yaml配置文件也需要将后面几个多余的peer节点地址删掉,否则会有无法构建集群的风险(过于麻烦)。
基于此,这里建议还是用标准的8台服务器,反正虚拟机又不用钱,如果受限于实际服务器限制,可以适当减少几个peer节点,但四个构成kafka集群的核心服务器不能少。(严格来讲只用3台就行, 因为kafka也是三台就能构成,只是为了稳定和防止崩了所以多了一台;但还是建议四台构成集群)

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2022-03-16 22:58:21  更:2022-03-16 22:59:30 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 1:28:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码