IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> CentOS7.9安装kafka-3.2.0和window10 下安装kafka-3.2.0 -> 正文阅读

[大数据]CentOS7.9安装kafka-3.2.0和window10 下安装kafka-3.2.0

目录

1、下载软件包

2、配置环境

3、安装zookeeper

4、安装kafka

5、测试功能

6、window 10下安装


1、下载软件包

首先下载zookeeper,地址:

Apache ZooKeeperhttps://zookeeper.apache.org/releases.html

下载kafka:

Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/

还要安装jdk1.8,我这已经安装好了,也比较简单,就不介绍了。

我本次安装的版本已经上传在这,可以免积他下载:

apache-zookeeper-3.8.0-bin.tar.gz和kafka_2.13-3.2.0.tgz-Java文档类资源-CSDN下载apache-zookeeper-3.8.0-bin.tar.gzkafka_2.13-3.2.0更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/fyihdg/85847255

2、配置环境

修改主机名

vi /etc/hostname 

我这主机早已经修改好了

查看IP

ifconfig

?修改绑定关系

 vi /etc/hosts

关闭防火墙

#关闭防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl disable firewalld.service

3、安装zookeeper

解压

tar -zxf apache-zookeeper-3.8.0-bin.tar.gz  -C /opt

重命名

mv apache-zookeeper-3.8.0-bin/  apache-zookeeper-3.8.0

?切换到目录:/opt/apache-zookeeper-3.8.0/conf

然后复制默认配置文件

cp zoo_sample.cfg zoo.cfg

?修改配置文件:

vi zoo.cfg 

dataDir=/root/zkdata

?创建目录:

mkdir /root/zkdata

切换到目录:/opt/apache-zookeeper-3.8.0/bin

输入

./zkServer.sh 

?可以看到相关命令

启动zookeeper:

./zkServer.sh start zoo.cfg

查看状态:

./zkServer.sh status

?[root@node05 bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.8.0/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
[root@node05 bin]#?

没有成功运行,怎么办?查看日志:

./zkServer.sh start-foreground

?8080端口被占用了,输入命令查询哪个进程占用8080

lsof -i:8080

?解决的办法有两个:一是修改zk默认端口,zookeeper 3.6之后的版本,开启服务器,zk会自动占用8080端口;二是,杀掉8080的进程

我这里修改zk端口

修改.zoo.cfg文件,添加如下配置

# admin.serverPort 默认占8080端口
admin.serverPort=8088

?

?4、安装kafka

?解压:

 tar -zxf kafka_2.13-3.2.0.tgz -C /opt

切换到目录:/opt/kafka_2.13-3.2.0/config

修改配置文件:?server.properties

修改的配置:

#node05是主机名
listeners=PLAINTEXT://node06:9092
#  kafka 会自创建目录
log.dirs=/usr/kafka-logs
#修改zk地址,用主机名
zookeeper.connect=node06:2181

启动命令:

 ./bin/kafka-server-start.sh  -daemon  config/server.properties

可以看到有kafka进程

关闭的命令是:

./kafka-server-stop.sh 

?至此,kafka安装成功了

5、测试功能

? ?以下命令是topic相关的命令

./kafka-topics.sh --help

创建topic

./kafka-topics.sh --bootstrap-server node05:9092 --create --topic topic01 --partitions 3 --replication-factor 1

创建一个客户端,此时命令窗口会阻塞:

./kafka-console-consumer.sh --bootstrap-server node06:9092 --topic topic01 --group group1

创建 一个生产者:

 ./kafka-console-producer.sh --broker-list node06:9092 --topic topic01

此时可以发消息了

?

6、window 10下安装

安装包不变,window下安装更简单,把zookeeper解压

然后修改配置文件,将zoo_sample.cfg复制一份改为zoo.cfg并添加data和log配置

?

?添加配置:

dataDir=C:\apache-zookeeper-3.8.0-bin\data
dataLogDir=C:\apache-zookeeper-3.8.0-bin\log

? ? ? ? 然后到目录:G:\soft\apache-zookeeper-3.8.0-bin\apache-zookeeper-3.8.0-bin\bin

直接命令行双击zkServer.cmd和zkCli.cmd启动

?

把kafka解压,然后到window目录。?

打开命令行

?

?

?然后启动kafka:

kafka-server-start.bat   ../../config/server.properties

创建topic的时候要注意,这个方式已经不能使用,最新版不能以下这种方式创建,会报错

kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic testtopic? ? ?

??会报:

Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option

应该使用这个命令:

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testtopic

生产者发消息:

kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic testtopic

?消费者收:

kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --from-beginning --topic testtopic

?可以看到生产者发的消息,消费都能收到了

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-07-03 10:53:18  更:2022-07-03 10:57:32 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 17:28:16-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码