IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Kafka的安装与使用 -> 正文阅读

[大数据]Kafka的安装与使用

安装Kafka

首先去下载:Kafka下载地址
备选地址:https://www.lanzouw.com/i4b8mxgrafg
密码:204o

准备好jdk环境,zk若无Kafka自带无须担忧。

说明
从蓝奏云上下载的朋友请注意,由于上传的时候蓝奏云不支持tgz后缀的格式,所以我把它改成了tar包,但不影响,下载下来之后以tar包方式解压即可。

解压并配置

tar -xzf kafka_2.13-3.0.0.tgz
cd kafka_2.13-3.0.0

# 修改配置文件
vim config/server.properties

配置文件内容

# 该 broker  id,针对每一个实例需要设置唯一值
broker.id=0
# 配置所在机器的 ip 和 端口,笔者这里安装在本地的
listeners=PLAINTEXT://127.0.0.1:9092
# 每个 topic 默认的分区数量
num.partitions=2
# zk 地址
zookeeper.connect=127.0.0.1:2181
# 日志文件存储目录,多个可以用逗号分隔
log.dirs=/tmp/kafka-logs

启动zk

进入kafka的包的bin目录下

 ./zookeeper-server-start.sh ../config/zookeeper.properties

在这里插入图片描述

不要用ctrl c打断,切记!!!

启动kafka

此时还在bin目录下

 ./kafka-server-start.sh ../config/server.properties

在这里插入图片描述

常用命令和测试

此时在kafka的安装目录下

# 创建主题
# --tipic 后面指定 topic 的名称为 testTopic
# --partitions 指定分区数量
# --replication-factor 指定副本集数量
# --bootstrap-server kafka 地址
# 直接运行 kafka-topics.sh 不带任何参数,会有提示信息出来,也就是帮助列表,选项有哪些,含义是什么
bin/kafka-topics.sh --create --topic testTopic  --partitions 1  --replication-factor 1 --bootstrap-server 127.0.0.1:9092
Created topic testTopic.

# 查看 topic 列表
bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
testTopic

# 发送一条数据
# 回车一条是发送一条消息,可以用 ctrl+c 终止这个程序
# 需要注意的是,如果你这条消息不回车,就直接 ctrl+c 终止了,那么就不算发出去了
bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic testTopic
>hello word
>wo event

# 接受数据:可以重新开启一个命令行
# --from-beginning 表示从头开始消费消息,也就是说,你重复使用这条命令,就可以重复看到这些消息,这个和 rabbitMQ 是有一点区别的
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic testTopic --from-beginning

hello word
1

删除 topic

bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --delete --topic testTopic

遇到的问题

关于zk
1.启动过程ctrl c了,他自带的默认不是以后台进程开启的,所以不能打断
2.启动命令都要带上配置文件参数

关于kafka
启动的时候报 commit_memory(0x00000000c0000000, 1073741824, 0) failed
百度之后发现是服务器内存太小了,我用的是轻量服务器,2G的,他默认启动要占1G,这肯定不行

vim kafka-server-start.sh

降低启动内存大小.

如:export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-11 15:47:32  更:2021-12-11 15:49:36 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:32:26-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码