| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> elasticsearch+logstach+kafka -> 正文阅读 |
|
[大数据]elasticsearch+logstach+kafka |
官方下载地址: https://www.elastic.co/cn/downloads 快速下载地址 ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D kibana: https://mirrors.huaweicloud.com 1、全文检索需求:因为数据库已经解决不了海量数据的快速查询,所以 引入了全文检索。最原生的是lucene,经过封装出现 solr,solr 有一个缺点,在建立索引的时候,索引性能下降,后来出现es,性能最高。 扩容分: ? ? ? ? 垂直扩容: ? ? ? ? 水平扩容:加服务器,只能能打到每台服务器就行,调度器---web服务器- 部署logstash---------logstash负责采集、解析日志 1、logstash的输入源有哪些? Logstash输入来源有那些? 本地文件、kafka、数据库、mongdb、redis ?2、logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存 ? ? ? ?就启动了一个logstach 服务,MEM占了一半。
Logstash 由JRuby,语言编写,基于消息.( message-based)的简单架构,并运行在Java 虚拟机(JⅣM)上,是一款强大的数据处理工具。可以实现数据传输、格式处理、格式化输出。 ?Logstash的理念很简单,它只做3件事情: ?Collect:数据输入 1、创建存放logstach的目录/data/elk/logstach mkdir -p /data/elk/logstach 2、logstach下载完毕后、解压logstach、这里以logstash-7.8.0.tar.gz为例子。 tar -xvf?logstash-7.8.0.tar.gz -C /data/elk/logstach/ 3、修改配置文件/config/logstach.conf ?input:从两方面一个是从nginx输入,另一个从/var/log/下面 启动logstash nohup ./bin/logstash -f config/logstash.conf & elasticsearch 1,分片(Shard) Elasticsearch是一个分布式的搜索引擎,索引的数据也是分成若干部分,分布在不同的服务器节点中分布在不同服务器节点中的索引数据,就是分片(Shard)。Elasticsearch会自动管理分片,如果发现分片分布不均衡,就会自动迁移一个索引(index)由多个shard(分片)组成,而分片是分布在不同的服务器上的 2, 副本 为了对Elasticsearch的分片进行容错,假设某个节点不可用,会导致整个索引库都将不可用。所以,需要对分片进行副本容错。每一个分片都会有对应的副本。在Elasticsearch中,默认创建的索引为1个分片、每个分片有1个主分片和1个副本分片。每个分片都会有一个Primary Shard(主分片),也会有若干个Replica Shard(副本分片)Primary Shard和Replica Shard不在同一个节点上 启动kafka nohup ./kibana --allow-root & |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 12:55:22- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |