| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> kafka -> 正文阅读 |
|
[大数据]kafka |
1 Kafka架构生产者、Broker、消费者、ZK; 注意:Zookeeper中保存Broker id和消费者offsets等信息,但是没有生产者信息。 2 Kafka的机器数量Kafka机器数量=2? *(峰值生产速度*副本数/100)+ 1 3 副本数设定一般我们设置成2个或3个,很多企业设置为2个。 副本的优势:提高可靠性;副本劣势:增加了网络IO传输 4 Kafka压测Kafka官方自带压力测试脚本(kafka-consumer-perf-test.sh、kafka-producer-perf-test.sh)。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。 5 Kafka日志保存时间默认保存7天;生产环境建议3天 6 Kafka监控公司自己开发的监控器; 开源的监控器:KafkaManager、KafkaMonitor、KafkaEagle 7 Kakfa分区数1)创建一个只有1个分区的topic 2)测试这个topic的producer吞吐量和consumer吞吐量。 3)假设他们的值分别是Tp和Tc,单位可以是MB/s。 4)然后假设总的目标吞吐量是Tt,那么分区数=Tt / min(Tp,Tc) 例如:producer吞吐量=20m/s;consumer吞吐量=50m/s,期望吞吐量100m/s; 分区数=100 / 20 =5分区 分区数一般设置为:3-10个 8 多少个Topic通常情况:多少个日志类型就多少个Topic。也有对日志类型进行合并的。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年1日历 | -2025/1/15 13:29:41- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |