IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> StarRocks(一) -> 正文阅读

[大数据]StarRocks(一)

前言

????????关于 Apache Doris 和 DorisDB、StarRocks 的关系

? ? ? ? Apache Doris和DorisDB是两个不同公司的产品。DorisDB开源后改名为StarRocks。现在的StarRocks有分为免费版和企业版。

? ? ? ? StarRocks官网:StarRocks - 新一代极速全场景MPP数据库

1、StarRocks简介

1.1、StarRocks介绍

????????StarRocks是新一代极速全场景MPP数据库

????????StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。

????????StarRocks致力于构建极速统一分析体验,满足企业用户的多种数据分析场景,支持多种数据模型(明细模型、聚合模型、更新模型),多种导入方式(批量和实时),可整合和接入多种现有系统(SparkFlinkHive ElasticSearch)

????????StarRocks兼容MySQL协议,可使用MySQL客户端和常用BI工具对接StarRocks来进行数据分析。

????????StarRocks采用分布式架构,对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩,能够支持10PB级别的数据分析; 支持MPP框架,并行加速计算; 支持多副本,具有弹性容错能力。

????????StarRocks采用关系模型,使用严格的数据类型和列式存储引擎,通过编码和压缩技术,降低读写放大;使用向量化执行方式,充分挖掘多核CPU的并行计算能力,从而显著提升查询性能。

1.2、StarRocks适合什么场景

????????StarRocks可以满足企业级用户的多种分析需求,包括OLAP多维分析、定制报表、实时数据分析和Ad-hoc数据分析等。具体的业务场景包括:

  • OLAP多维分析:用户行为分析、用户画像、财务报表、系统监控分析
  • 实时数据分析:电商数据分析、直播质量分析、物流运单分析、广告投放分析
  • 高并发查询:广告主表分析、Dashbroad多页面分析
  • 统一分析:通过使用一套系统解决上述场景,降低系统复杂度和多技术栈开发成本

1.3、StarRocks基本概念

  1. FEFrontEnd简称FE,是StarRocks的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。(namenode)
  2. BEBackEnd简称BE,是StarRocks的后端节点,负责数据存储,计算执行,以及compaction,副本管理等工作。(datanode)
  3. BrokerStarRocks中和外部HDFS/对象存储等外部数据对接的中转服务,辅助提供导入导出功能。
  4. StarRocksManagerStarRocks的管理工具,提供StarRocks集群管理、在线查询、故障查询、监控报警的可视化工具。
  5. TabletStarRocks中表的逻辑分片,也是StarRocks中副本管理的基本单位,每个表根据分区和分桶机制被划分成多个Tablet存储在不同BE节点上。

1.4、StarRocks系统架构

组件介绍

????????StarRocks集群由FEBE构成, 可以使用MySQL客户端访问StarRocks集群。

FE:

  • FE接收MySQL客户端的连接, 解析并执行SQL语句。
  • 管理元数据, 执行SQL DDL命令, Catalog记录库, , 分区, tablet副本等信息。
  • FE高可用部署, 使用复制协议选主和主从同步元数据, 所有的元数据修改操作, FE leader节点完成, FE follower节点可执行读操作。 元数据的读写满足顺序一致性。 ?FE的节点数目采用2n+1, 可容忍n个节点故障。 ?FE leader故障时, 从现有的follower节点重新选主, 完成故障切换。
  • FESQL layer对用户提交的SQL进行解析, 分析, 改写, 语义分析和关系代数优化, 生产逻辑执行计划。
  • FEPlanner负责把逻辑计划转化为可分布式执行的物理计划, 分发给一组BE
  • FE监督BE, 管理BE的上下线, 根据BE的存活和健康状态, 维持tablet副本的数量。
  • FE协调数据导入, 保证数据导入的一致性。

BE:

  • BE管理tablet副(默认3副本), tablettable经过分区分桶形成的子表, 采用列式存储。
  • BEFE指导, 创建或删除子表。
  • BE接收FE分发的物理执行计划并指定BE coordinator节点, BE coordinator的调度下, 与其他BE worker共同协作完成执行。
  • BE读本地的列存储引擎获取数据,并通过索引和谓词下沉快速过滤数据。
  • BE后台执行compact任务, 减少查询时的读放大。
  • 数据导入时, FE指定BE coordinator, 将数据以fanout的形式写入到tablet多副本所在的BE上。

2、手动部署

2.1、FE启动

  1. 在每台服务器的fe目录下创建meta,用来存储元数据信息:
  2. 在hadoop2下启动fe:bin/start_fe.sh --daemon
  3. 启动mysql客户端:mysql -uroot -P 9030 -hhadoop2?
  4. 添加其他FE节点,角色也分为FOLLOWER,OBSERVER:??
    1. ALTER SYSTEM ADD FOLLOWER "hadoop1:9010";
    2. ALTER SYSTEM ADD OBSERVER "hadoop3:9010";
    3. 查看状态:SHOW PROC '/frontends'\G

  5. 在hadoop1、hadoop3服务器启动FE节点,第一次启动需指定--helper参数,后续再启动无需指定此参数。
    • bin/start_fe.sh --helper hadoop2:9010 --daemon
  6. 都启动完成后,会看到hadoop1和hadoop3的状态(Alive)为True。

2.2、BE启动

????????部署BE,用户可以使用命令直接将BE添加到集群中,一般至少布置3个BE,每个BE实例添加步骤相同。

  1. 在be目录下创建storage目录:mkdir -p storage
  2. 在mysql客户端添加hadoop2对应BE节点:ALTER SYSTEM ADD BACKEND "hadoop2:9050";
  3. 通过守护进程方式启动hadoop2上的BE:bin/start_be.sh --daemon
  4. 查看BE状况:SHOW PROC '/backends'\G

?2.3、Broker进程部署

? ? ? ? Broker主要是将数据的导入与导出。例如与hadoop数据交互

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-24 18:32:57  更:2021-12-24 18:35:40 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年9日历 -2024/9/17 3:47:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码