IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 关于MySQL查询条件问题的优化 -> 正文阅读

[大数据]关于MySQL查询条件问题的优化

前言

  1. 技术能解决的事情改技术
  2. 技术解决不了的事情该需求

现状

假设我们目前有两张表
业务表 书( t_a_book ) 阅读历史记录表 (t_r_book_history) 用户(t_a_user)表

其三张表的数据逻辑如下

t_a_book

在这里插入图片描述
t_r_book_history

在这里插入图片描述

t_a_user

在这里插入图片描述
当然了,我们假设当前的数据量并不只是我们眼前看到的这几条数据,而是线上真实情况。
每张表至少都是10w+起步

问题一

这时候,我们需要面临第一个业务问题,

  1. 我们需要做一个报表,显示用户阅读图书的记录,并显示用户名,用户号,书名

这时候我们如何设计查询SQL

多表联查

SELECT * FROM t_r_book_history bh 
	LEFT JOIN t_a_user u ON bh.user_id = u.id 
	LEFT JOIN t_a_book b ON bh.book_id = b.id 
WHERE 
	bh.record_flag = 1 
ORDER BY bh.release_time DESC LIMIT 10;

查询出来的结果为

在这里插入图片描述

其逻辑为

  1. 数据库根据release_time倒序查询数据表,取出倒序的数据
  2. 根据左连接获取 用户信息
  3. 根据左连接获取 图书信息

单表查询

如果此时我们选择化繁为简,使用单表的查询方法,来查询数据其SQL为

SELECT * FROM t_r_book_history bh 
WHERE 
	bh.record_flag = 1 
ORDER BY bh.release_time DESC LIMIT 10;

// 用户信息
SELECT * FROM t_a_user u WHERE u.id IN ();
// 图书信息
SELECT * FROM t_a_books b WHERE u.id IN ();

在这里插入图片描述

其数据逻辑与多表联查一致,唯一不同的便是需要查询三次

结论

我们可以看,当前两种查询方式的逻辑来看。
主要会存在的流量压力在与 t_r_book_history 这张表上面

当数据量大的时候,我们只需要根据release_time 做索引,简化这一步的操作。
后续都可以使用主键来简化操作

由此来看,两个语句其实在本质上没有明显的快慢之分

问题二

现在我们需要增加两个查询条件

  1. 用户名称,支持模糊查询
  2. 书名信息,支持模糊查询

如果这时候,我们如何编写SQL

多表联查

如果我们使用多表联查的思路来填写SQL

SELECT * FROM t_r_book_history bh 
	LEFT JOIN t_a_user u ON bh.user_id = u.id 
	LEFT JOIN t_a_book b ON bh.book_id = b.id 
WHERE 
	bh.record_flag = 1 
	AND 
	b.name like "四%"
	and u.name like "张%"
ORDER BY bh.release_time DESC LIMIT 10;

显示的数据

在这里插入图片描述

其逻辑为

  1. 查询用户表,根据其用户名称进行模糊查询
  2. 查询书表,根据书名进行模糊查询
  3. 根据用户主键,书籍主键作为查询条件来进行查询

单表查询


SELECT * FROM t_a_user WHERE user_name LIKE "张%"
SELECT * FROM t_a_book WHERE user_name LIKE "四%"

SELECT * FROM t_r_book_history bh 
WHERE 
	bh.record_flag = 1 
ORDER BY bh.release_time DESC LIMIT 10;

// 用户信息
SELECT * FROM t_a_user u WHERE u.id IN ();
// 图书信息
SELECT * FROM t_a_books b WHERE u.id IN ();

其查询逻辑与多表联查一致

问题

现在主要的问题在于 , t_a_user , t_a_book , t_r_book_history 这三张表都是大表,
我们使用的查询条件也十分的模糊
简单的说 , 无论我们使用哪种方法, 都有可能会出现几十万个符合的结果
因此,我们无论使用哪种编写方法 , 这个SQL都是不可行的

如何解决

文章写到这里,我们会发现这个问题,已经不能停留再技术成面的问题。
因此,我们就只能修改需求

我们这里的问题 , 是这两张表的查询条件。他十分的模糊,我们无法将范围限制在几条,几十条,甚至几百条内。
既然这样,我们就只能跟需求方表示,这个查询条件必须使用十分“明确”的数据

例如对于用户,我们常常能用什么来明确指向一个用户呢?
id,数据主键,手机号码

我们如何确定一本书呢?我们可以用一个ISBN

修改这两个查询条件,才能将这个不能解决的问题,修改为解决

但是,有人说,我们是技术。不能对产品提这样的想法,
但是我想说,你是打算在将来来查询卡半分钟的时候,说服所有人这个东西不关我的事
还是说,在未开发前说服产品

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-24 18:15:37  更:2022-05-24 18:17:18 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:51:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码