IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> elasticsearch+logstach+kafka -> 正文阅读

[大数据]elasticsearch+logstach+kafka

官方下载地址: https://www.elastic.co/cn/downloads

快速下载地址

ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D

kibana: https://mirrors.huaweicloud.com

1、全文检索需求:因为数据库已经解决不了海量数据的快速查询,所以

引入了全文检索。最原生的是lucene,经过封装出现

solr,solr 有一个缺点,在建立索引的时候,索引性能下降,后来出现es,性能最高。

扩容分:

? ? ? ? 垂直扩容:

? ? ? ? 水平扩容:加服务器,只能能打到每台服务器就行,调度器---web服务器-

部署logstash---------logstash负责采集、解析日志

1、logstash的输入源有哪些? Logstash输入来源有那些?

本地文件、kafka、数据库、mongdb、redis

?2、logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存 ? ? ?

?就启动了一个logstach 服务,MEM占了一半。

下载地址:

?logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D

Logstash 由JRuby,语言编写,基于消息.( message-based)的简单架构,并运行在Java 虚拟机(JⅣM)上,是一款强大的数据处理工具。可以实现数据传输、格式处理、格式化输出。

?Logstash的理念很简单,它只做3件事情:

?Collect:数据输入
?Enrich:数据加工《过滤,改写等)心
?Transport:数据输出-

1、创建存放logstach的目录/data/elk/logstach

mkdir -p /data/elk/logstach

2、logstach下载完毕后、解压logstach、这里以logstash-7.8.0.tar.gz为例子。

tar -xvf?logstash-7.8.0.tar.gz -C /data/elk/logstach/

3、修改配置文件/config/logstach.conf

?input:从两方面一个是从nginx输入,另一个从/var/log/下面

启动logstash

nohup ./bin/logstash -f config/logstash.conf &

elasticsearch

1,分片(Shard)

Elasticsearch是一个分布式的搜索引擎,索引的数据也是分成若干部分,分布在不同的服务器节点中分布在不同服务器节点中的索引数据,就是分片(Shard)。Elasticsearch会自动管理分片,如果发现分片分布不均衡,就会自动迁移一个索引(index)由多个shard(分片)组成,而分片是分布在不同的服务器上的

2, 副本

为了对Elasticsearch的分片进行容错,假设某个节点不可用,会导致整个索引库都将不可用。所以,需要对分片进行副本容错。每一个分片都会有对应的副本。在Elasticsearch中,默认创建的索引为1个分片、每个分片有1个主分片和1个副本分片。每个分片都会有一个Primary Shard(主分片),也会有若干个Replica Shard(副本分片)Primary Shard和Replica Shard不在同一个节点上
?

启动kafka

nohup ./kibana --allow-root &
?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-07-17 16:30:00  更:2022-07-17 16:31:10 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/20 0:00:44-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码