IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> kafka常用的shell命令(二) -> 正文阅读

[大数据]kafka常用的shell命令(二)


kafka系列
Kafka史上最详细原理总结(一)
kafka常用的shell命令(二)


1、创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2、查看创建的topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

3、生产者发布消息命令

(执行完此命令后,在控制台输入要发送的消息,回车即可)

bin/kafka-console-producer.sh --broker-list 192.168.91.231:9092,192.168.91.231:9093,192.168.91.231:9094 --topic test

4、消费者接受消息命令

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

5、kafka启动

首先启动zookeeper zkServer.sh start(相当于一个server,kafka会连接这个server)
  启动kafka

bin/kafka-server-start.sh config/server.properties 

6、查看kafka节点数目

在zookeeper中查看,登录客户端bin/zkCli.sh 执行ls /brokers/ids 查看节点数目及节点ID,[0, 1, 2]

7、kafka中的概念

生产者 Producer、代理 Broker、消费者 Consumer、主题 Topic、分区 Partition、消费者组 Consumer Group

8、查看主题信息

bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 [加其他选项]

eg:

bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 --describe 

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

9、为主题创建分区

bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 --alter -partitions 8 -topic test

一共创建八个分区,编号分别为0~7

10、查看kafka进程

ps -ef|grep server.properties    
ps -ef|grep server-1.properties     
ps -ef|grep server-2.properties

11、kafka宕机重启后,消息不会丢失

12、kafka其中一个broker宕机后,对消费者和生产者影响很小(命令行下测试)

消费者会尝试连接,连接不到,返回java.net.ConnectException: Connection refused异常 生产者可能会在发送消息的时候报异常,但会很快连接到其他broker,继续正常使用

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章           查看所有文章
加:2021-08-18 12:46:21  更:2021-08-18 12:49:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 12:56:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码