[大数据]Linux下kafka集群与zookeeper简单安装配置和使用

这里以两台机器为列

防火墙设置
systemctl stop firewalld 停止防火墙
systemctl disable firewalld 设置开机不启动
seliunx服务关闭
vim /etc/selinux/config
改成SELINUX=disabled
重启之后生效
一丶安装kafka与配置

    1.先安装java,因为kafka是基于Java开发的

            使用命令：yum install java  -y

    2.安装kafka

            推荐在/opt目录下载

            wget  https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz

            （如果没有wget先下载 yum install wget）

            下载好kafka包后，进行解压

            使用命令：tar xf kafka_2.12-2.8.0.tgz

    3.配置

            1.修改/etc/hosts文件，添加如下内容

                    192.168.179.123  kafka01

                    192.168.179.124  kafka02 --------------这代表的是主机ip和主机名，到时候可以通过指定主机名来连接kafka

                    有几台kafka就在里面都放上

            2.修改/opt/kafka_2.12-2.8.0.tgz/config/server.properties

                    broker.id=0     -------------------每台kafka都需要不同

                    listeners=PLAINTEXT://kafka01:9092  ---------红色标注的代表对应此台机器的主机名

                    zookeeper.connect=192.168.179.123:2181,192.168.179.124:2181 ----------------这些ip代表的是你kafka集群的所有机器的ip地址和端口号

二丶zookeeper安装与配置

    1.安装

            也推荐在/opt目录下安装

            wget   https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

            安装后解压

            使用命令：tar xf apache-zookeeper-3.6.3-bin.tar.gz

    2.配置

            进入/opt/apache-zookeeper-3.6.3-bin/conf

            复制zoo_sample.cfg：cp zoo_sample.cfg zoo.cfg

            修改zoo.cfg, 在末尾添加如下两行：
                    server.1=192.168.179.123:3888:4888
                    server.2=192.168.179.123:3888:4888

                    （这两行代表你kafka集群的机器ip）

            进入/tmp目录创建zookeeper目录，在目录中添加myid文件，文件内容就是本机指定的zookeeper   id内容，以（server.1=192.168.179.123:3888:4888）为例，你的192.168.179.123这台机器id就为1

三丶kafka的启动，zookeeper的启动

    1.zookeeper启动

            进入到/opt/apache-zookeeper-3.6.3-bin下

            使用命令启动zookeeper：bin/zkServer.sh start

    2.kafka启动

            进入到/opt/kafka_2.12-2.8.0

            使用命令启动kafka：bin/kafka-server-start.sh -daemon config/server.properties

    3.查看zookeeper与kafka是否已经成功启动

            ①查看进程

                    ps aux|grep zookeeper

                    ps aux|grep kafka

            ②查看端口

                    lsof -i:9092

                    lsof -i:3888

    4.都启动成功之后，就代表安装成功啦

四丶查看kafka是否与zookeeper建立连接

    进入到/opt/apache-zookeeper-3.6.3-bin/bin下

    使用命令：zkServer.sh status

    可以看到此机器属于leader还是follower

    这样代表已经建立连接啦，为此机器分配了