IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 时序数据库之InfluxDB及其Telegraf的使用 -> 正文阅读

[大数据]时序数据库之InfluxDB及其Telegraf的使用


【转载请注明出处: https://leytton.blog.csdn.net/article/details/120806860

1 背景

目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理,但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。时序大数据解决方案通过使用特殊的存储方式,使得时序大数据可以高效存储和快速处理海量时序大数据,是解决海量数据处理的一项重要技术。该技术采用特殊数据存储方式,极大提高了时间相关数据的处理能力,相对于关系型数据库它的存储空间减半,查询速度极大的提高。【1】

时序数据库主要用于存储基于时间序列的指标数据,例如一个Web页面的PV、UV等指标,将其定期采集,并打上时间戳,就是一份基于时间序列的指标。时序数据库通常用来配合前端页面来展示一段时间的指标曲线。【2】

2 技术选型

打开数据库排名网站DB-Engines Ranking,左侧选择时序数据库(Time Series DBMS),如下图所示:
在这里插入图片描述
可见,InfluxDB遥遥领先,其他数据库也可以去查找相关资料了解其特性,比如说:

Apache Druid,国内很多大厂都有使用,如阿里、土豆、优酷、微博、小米、滴滴、有赞等,参考 http://druid.apache.org/druid-powered
比较常见的使用场景【3】:

  • 点击流分析(web 和 mobile 分析)
  • 风控分析
  • 网路遥测分析(网络性能监控)
  • 服务器指标存储
  • 供应链分析(制造业指标)
  • 应用性能指标
  • 商业智能/实时在线分析系统 OLAP

TDengine,国产数据库,据官网介绍,性能碾压大部分时序数据库,参考https://www.taosdata.com/cn/documentation

更多可以参考这篇文章:《时间序列数据库(TSDB)初识与选择》

本文着重关注InfluxDB。

3 InfluxDB

InfluxDB是一款Go语言写的时序数据库,开源版不支持集群。但单机性能强、生态好,SDK以及文档丰富。

安装

打开官方文档,里面有各种系统的安装方式,本文测试环境为CentOS7,在此我们使用docker安装体验:

docker run --name influxdb -p 8086:8086 influxdb:2.0.9

Web控制台

打开Web控制台 http://localhost:8086,填入账号密码、团队组织信息、以及初始化桶名称(将用于存储数据保留策略等系统信息)
Web控制台
进入控制台后,分三步开始,采集加载数据->创建观察面板->设置预警
在这里插入图片描述

加载数据源

加载数据源可以是采用丰富的客户端库进行数据写入,也可以直接使用各种各样的Telegraf插件采集数据。Telegraf是一个数据采集代理,类似与ElasticSearch的Logstash,需要安装才能使用。
在这里插入图片描述
比如我们要采集CPU信息,提示需要安装Telegraf,如下图:
在这里插入图片描述

4 Telegraf的使用

Telegraf的使用分三步:

  1. 安装Telegraf
  2. 配置插件
  3. 启动服务

安装Telegraf

打开Telegraf文档,查看安装和使用手册。

执行以下命令:

cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo
[influxdb]
name = InfluxDB Repository - RHEL \$releasever
baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable
enabled = 1
gpgcheck = 1
gpgkey = https://repos.influxdata.com/influxdb.key
EOF
sudo yum install telegraf

配置插件

打开/etc/telegraf/telegraf.conf文件,配置CPU信息采集(默认已配置)。
在这里插入图片描述

我们创建一个桶用于存储测试数据,可以设置数据自动删除的时间:
在这里插入图片描述
配置采集到的数据输出到创建的桶里:
在这里插入图片描述

启动服务

sudo systemctl start telegraf

创建Dashboard,并把数据添加进来即可直观查看图表:
在这里插入图片描述
后续再测试客户端SDK。

5 参考文献

【1】时序数据库简介
【2】InfluxDB引擎浅析
【3】十分钟了解 Apache Druid

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-18 17:27:40  更:2021-10-18 17:29:43 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:49:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码