IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Kunlun-Storage vs PostgreSQL OLTP 测试 -> 正文阅读

[大数据]Kunlun-Storage vs PostgreSQL OLTP 测试

一、Kunlun-Storage简介

KunlunStorage是泽拓科技基于Percona-mysql-8.0.26优化的数据库存储服务器,作为KunlunDB分布式数据库的存储节点,我们对percona-mysql做了大量性能增强,补足了其在XA事务处理的容灾和错误处理方面的空白,并增加了一些昆仑数据库集群整体需要的功能,包括fullsync复制,update/delete…returning语句等。

二、测试环境

测试软件:

sysbench 1.1.0-df89d34 (using bundled LuaJIT 2.1.0-beta3(AWS 云上环境)

sysbench 1.0.20 (using system LuaJIT 2.1.0-beta3)(本地部署环境)

服务器配置:

PostgreSQL和Kunlun-Storage各部署在一台:亚马逊i3.4xlarge(CPU 8cores 16 Threads,内存:122G,存储:2个1900 NVMe SSD)上(AWS 云上环境)

PostgreSQL和Kunlun-Storage各部署同一台服务器上(CPU 16 cores 32 Threads, 内存: 64G,存储:1个 NVMe SSD)上(本地部署环境)

软件版本:

Postgresql:PostgreSQL 14.2 onx86_64-pc-linux-gnu

Kunlun-Storage:8.0.26-16-kunlun-storage

数据库参数配置:

PostgreSQL:

shared_buffers = 32768MB
wal_level = replica
fsync = on         
synchronous_commit = on       
wal_sync_method = fdatasync 
full_page_writes = on  

Kunlun-Storage:

innodb_buffer_pool_size  32768MB
inndo_flush_at_trx_commit=1
sync_binlog=1
innodb_use_fdatasync = 1
测试背景:

PostgreSQL和Kunlun-Storage采用默认的安装配置,只调整了内存参数及上述几个参数,整个测试过程PostgreSQL和Kunlun-Storage没有任何优化行为。

三、测试数据

测试软件:

sysbench 1.1.0-df89d34 (using bundled LuaJIT 2.1.0-beta3(AWS 云上环境)

sysbench 1.0.20 (using system LuaJIT 2.1.0-beta3)(本地部署环境)

Sysbench测试场景:
场景一 :oltp_write_only

每个事务执行如下4种操作:execute_index_updates()、execute_non_index_updates()、execute_delete_inserts()

场景二:oltp_update_index

每个事务执行如下1种操作:execute_index_updates()

场景三:oltp_update_non_index

每个事务执行如下1种操作:execute_non_index_updates()

场景四:oltp_read_write.lua

每个事务执行如下7种操作:execute_simple_ranges(),execute_sum_ranges()、 execute_order_ranges()、execute_distinct_ranges()、execute_index_updates()、execute_non_index_updates()、execute_delete_inserts()

各个操作操作对应的SQL语句如下:
sum_ranges = {
      "SELECT SUM(k) FROMsbtest%u WHERE id BETWEEN ? AND ?",
       t.INT, t.INT},
order_ranges = {
      "SELECT c FROMsbtest%u WHERE id BETWEEN ? AND ? ORDER BY c",
       t.INT, t.INT},
distinct_ranges = {
      "SELECT DISTINCT cFROM sbtest%u WHERE id BETWEEN ? AND ? ORDER BY c",
      t.INT, t.INT},
index_updates = {
      "UPDATE sbtest%uSET k=k+1 WHERE id=?",
      t.INT},
non_index_updates = {
      "UPDATE sbtest%uSET c=? WHERE id=?",
      {t.CHAR, 120}, t.INT},
deletes = {
      "DELETE FROMsbtest%u WHERE id=?",
      t.INT},
inserts = {
      "INSERT INTOsbtest%u (id, k, c, pad) VALUES (?, ?, ?, ?)",
      t.INT, t.INT, {t.CHAR,120}, {t.CHAR, 60}}
测试数据量:

–tables=18 --table-size=10000000

表占用操作系统存储空间:36G
测试脚本:

测试的sysbench 的线程从64 到900 ,每个线程案列执行10分钟,每个场景连续测试时间140分钟。

Kunlun-Storage:

sysbench /usr/local/share/sysbench/oltp_write_only.lua--db-driver=mysql --mysql-host=172.31.41.115 --mysql-port=6001 --mysql-user=pgx --mysql-password=pgx_pwd--mysql-db=vpgtest --tables=18 --table-size=10000000 --report-interval=10--threads=64 --time=600  run
 
sysbench/usr/local/share/sysbench/oltp_update_index.lua --db-driver=mysql --mysql-host=172.31.41.115  --mysql-port=6001 --mysql-user=pgx--mysql-password=pgx_pwd --mysql-db=vpgtest --tables=18 --table-size=10000000--report-interval=10 --threads=64 --time=600  run 

sysbench/usr/local/share/sysbench/oltp_update_non_index.lua  --db-driver=mysql--mysql-host=172.31.41.115 --mysql-port=6001 --mysql-user=pgx --mysql-password=pgx_pwd--mysql-db=vpgtest --tables=18 --table-size=10000000 --report-interval=10--threads=64 --time=600  run 

Threads 变化范围:64-128-192-…900

PostgreSQL:

sysbench/usr/local/share/sysbench/oltp_read_write.lua --db-driver=pgsql--pgsql-host=172.31.44.208 --pgsql-port=5432 --pgsql-user=postgres --pgsql-password=postgres--pgsql-db=postgres --tables=18 --table-size=10000000 --report-interval=10--threads=64  --time=600 run
 
sysbench /usr/local/share/sysbench/oltp_update_index.lua--db-driver=pgsql --pgsql-host=172.31.44.208 --pgsql-port=5432 --pgsql-user=postgres --pgsql-password=postgres--pgsql-db=postgres --tables=18 --table-size=10000000 --report-interval=10--threads=64  --time=600 run

sysbench/usr/local/share/sysbench/oltp_update_non_index.lua --db-driver=pgsql--pgsql-host=172.31.44.208 --pgsql-port=5432 --pgsql-user=postgres --pgsql-password=postgres--pgsql-db=postgres --tables=18 --table-size=10000000 --report-interval=10--threads=640  --time=600  run

Threads 变化范围:64-128-192-…900

四、 AWS 云上环境测试结果

oltp_write_only 测试

在这里插入图片描述

在这里插入图片描述

oltp_update_index 测试

在这里插入图片描述

在这里插入图片描述

oltp_update_non_index 测试

在这里插入图片描述

在这里插入图片描述

五、本地部署测试结果

oltp_write_only 测试

在这里插入图片描述
在这里插入图片描述

oltp_update_index 测试

在这里插入图片描述
在这里插入图片描述

oltp_update_non_index 测试

在这里插入图片描述

在这里插入图片描述

oltp_read_write 测试

在这里插入图片描述

在这里插入图片描述

六、测试结果及总结

1. 在OLTP write-only、oltp -read-write和OLTP update_index场景下,Kunlun-Storage性能明显优于PostgreSQL。

需要强调的是,PostgreSQL只要更新任何一个索引字段,都需要在所有索引中插入新的索引行指向新版本的数据行,此时HOTupdate无法发挥作用。

因此,update_index的性能会大幅落后于MySQL。

在实际生产系统中,更新到索引列是非常常见的现象,特别是还有Vacuum带来的IO消耗大幅增长,所以PostgreSQL的通用的写入性能就相对较差。

2. 在OLTP update_non_index场景下,PostgreSQL的tps性能高于Kunlun-Storage,但95 percent delay也高于KunlunStorage,这表明在更新的字段不是索引字段的场景下,由于PostgreSQL通过保持 heap页面半空,可以实现大多数行的更新是HOT update,也就是不需要插入索引行,直接在与旧行同一个heap页面中写入新版本行数据即可,因此比平均的QPS比Kunlun-Storage高5%~30%。

不过从测试结果可以看到,PostgreSQL的QPS和延时的波动比较大,因为无法做HOT update的那些更新语句的延时也会大幅提高,也就导致PostgreSQL95%延时反而比MySQL大10%到40%左右。

由于大多数实际使用场景下是无法避免更新索引字段的,并且即使对于不更新索引字段的语句,HOT update也不能保证大概率发生(只有不更新任何索引字段并且heap页面有足够空间存储那个被更新的行的新版本的时候 HOT Update 才能发生),因此PostgreSQL的这种性能优势的覆盖面过于狭窄。

3. PostgreSQL在负载动态变化过程中,有明显的延迟抖动,而Kunlun-Storage性能曲线相对平稳.

-END-

昆仑数据库是一个HTAP NewSQL分布式数据库管理系统,可以满足用户对海量关系数据的存储管理和利用的全方位需求。
应用开发者和DBA的使用昆仑数据库的体验与单机MySQL和单机PostgreSQL几乎完全相同,因为首先昆仑数据库支持PostgreSQL和MySQL双协议,支持标准SQL:2011的
DML 语法和功能以及PostgreSQL和MySQL对标准
SQL的扩展。同时,昆仑数据库集群支持水平弹性扩容,数据自动拆分,分布式事务处理和分布式查询处理,健壮的容错容灾能力,完善直观的监测分析告警能力,集群数据备份和恢复等
常用的DBA 数据管理和操作。所有这些功能无需任何应用系统侧的编码工作,也无需DBA人工介入,不停服不影响业务正常运行。
昆仑数据库具备全面的OLAP
数据分析能力,通过了TPC-H和TPC-DS标准测试集,可以实时分析最新的业务数据,帮助用户发掘出数据的价值。昆仑数据库支持公有云和私有云环境的部署,可以与docker,k8s等云基础设施无缝协作,可以轻松搭建云数据库服务。
请访问 http://www.zettadb.com/ 获取更多信息并且下载昆仑数据库软件、文档和资料。 KunlunDB项目已开源
【GitHub:】 https://github.com/zettadb 【Gitee:】
https://gitee.com/zettadb

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-26 11:47:11  更:2022-04-26 11:47:54 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 3:37:02-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码