IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hbase vs RDBMS vs Hive -> 正文阅读

[大数据]Hbase vs RDBMS vs Hive

文章目录


HiveMysqlHbase
存储数据依赖HDFS本地文件系统;采用行存储模式,底层是binlog,用来存储业务数据底层是hdfs;列式数据库,可以存储海量的数据
数据更新不建议对数据的改写 查询增删改查快速插入
索引Hive 在3.0版本之后,删除了索引的功能Mysql 支持索引,适合在线在线查询数据有且仅有一个:rowkey
执行Hive底层依赖的是MR,并行计算,延迟高默认存储引擎Innodb(B+树),延迟低LSM(Log-Structure Merge)树
扩展性Hive 支持分布式并行操作,支持海量数据分布式并行操作,支持海量数据
应用场景hive属于olap系统 是面向分析的,做海量数据的离线数据分析数据库属于oltp系统 是面向事务的 ,做业务数据事务处理应用的在线事务问题和大数据场景的海量存储问题。
  1. LSM树原理把一颗大叔拆分成N颗小树,它首先在内存中,它首先写入内存中,随着小树越来越大,内存中的小树会flush到磁盘中,磁盘中的树定期可以做merge操作,合并成为一个大叔,用来优化读性能。
  2. B+树

1. OLTP与OLAP

OLTP:Hbase、 Mysql
OLAP:Hive

OLTP和OLAP的区别

  1. 联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。
    特点:.实时性要求高、数据量不是很大、高并发,并且要求满足ACID原则。(比如两人同时操作一个银行卡账户)
  2. 联机分析处理OLAP(On-Line Analytical Processing) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。典型的应用就是复杂的动态的报表系统。
    特点:实时性要求不是很高、数据量大
  3. 总结
    OLTP即联机事务处理,就是我们经常说的关系数据库,增删查改就是我们经常应用的东西,
    OLAP即联机分析处理,是数据仓库的核心部心,所谓数据仓库是对于大量已经由OLTP形成的数据的一种分析型的数据库,用于处理商业智能、决策支持等重要的决策信息

2. ACID

RDBMS是关系性数据库支持join、ACID、有schema(创建表的时候必须要指定有哪些列、列是什么类型…)支持二级索引。
Hbase不支持join,也不支持ACID,对事务支持有限,无schema、原生就支持分布式存储的,所以可以用来存储海量数据。

ACID

  1. Atomicity(原子性):一个事务中的所有操作,要么全部完成,要么全部不完成
  2. Consistency(一致性):在事务开始前后,数据库的完整性没有被破坏
  3. Isolation(隔离性):数据库运行多个并发事务同时对其数据进行读写和修改,隔离性可以防止多个事务并发执行时而导致数据的不一致。
  4. Durability(持久性):事务处理结束后,对数据的修改是永久的。
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-24 18:15:37  更:2022-05-24 18:16:34 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:39:25-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码