IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 日志收集项目及kafka介绍 -> 正文阅读

[大数据]日志收集项目及kafka介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
目前已经有监控了

日志架构图

在这里插入图片描述

logagent 具体的部署到每一个服务器上面
在这里插入图片描述
etcd目前是比较火的 配置中心等等 服务注册与发现

消息队列可以将直接的函数调用异步化
可以实现不同语言间的通信
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
partition表现就是一个个的文件夹的

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
follower是主动向leader中拉取数据的

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

图中表示有3个分区,每一个分区就对应于一个文件的
数据在每一个分区中数据是有序的
在这里插入图片描述
在记录消息的时候 同时回记录该消息的offset的大小的, 这是kafka查询块的原因
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
kafka的配置
在这里插入图片描述
到官网下载二进制的文件
在这里插入图片描述
先启动zookeeper 管理集群

现在启动kafka
先要更改配置文件,然后进行启动操作的

zookeeper的原理
分布式中需要有多个节点 但是在进行服务调用的时候 不知道都有哪个节点的
所以需要通过注册中心来进行管理的

没启动一个kafka都要连接一下zookeeper 进行登记一下的
在这里插入图片描述
在这里插入图片描述
go中的服务注册与发现 一般使用etcd的

在这里插入图片描述
读日志要使用tailf这个第三方的库

在这里插入图片描述
在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-18 16:03:48  更:2021-12-18 16:04:23 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 11:43:20-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码