| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Redis高性能IO和多线程 -> 正文阅读 |
|
[大数据]Redis高性能IO和多线程 |
1.Redis是单线程还是多线程?????????我们在学习 Redis 时听得最多的就是 Redis 是单线程的,其实这种说法并不严谨。严格来说 Redis 单线程,主要是指 Redis 的网络 IO 和键值对读写是由一个线程来完成的,这也是 Redis 对外提供键值存储服务的主要流程,包括Socket读,解析,执行,Socket写等。但 Redis 的其他功能,比如持久化、异步删除、集群数据同步等,其实是由额外的线程执行的。 2.Redis为什么用单线程?????????首先,我们Redis一般是作为缓存来使用的,所以数据会全部放在内存中,而内存的存取速度会非常快,所以Redis的性能瓶颈不在CPU。 ????????其次,一个关键的问题在于如果采用多线程方案,系统中通常会存在被多线程同时访问的共享资源,比如一个共享的数据结构。Redis 有 String 的数据类型,如果值类型那么实际存储的是数字,并提供自增(INCR)操作。假设现在有两个线程 A 和 B且初始值为0,线程 A、B同时 对其做 INCR 操作。为了保证结果的正确性,Redis 需要让线程 A 和 B 的 INCR 串行执行。否则,我们可能就会得到错误的结果。这就是多线程编程模式面临的共享资源的并发访问控制问题。 并发访问控制一直是多线程开发中的一个难点问题,如果只是简单地采用一个粗粒度互斥锁时,即使增加了线程,大部分线程也在等待获取访问共享资源的互斥锁,并行变串行,系统吞吐率并没有随着线程的增加而增加。所以Redis 直接采用了单线程模式。 3.Redis单线程为什么那么快?????????一方面,Redis 的大部分操作在内存上完成,因此所有的运算都是内存级别的,所以性能比较高。 ? ? ? ? 另一方面,它采用了高效的数据结构,这些数据结构的查询和操作的时候复杂度大部分都是O(1),这是它实现高性能的一个重要原因。 ? ? ? ? 再一方面,就是 Redis 采用了多路复用机制,使其在网络 IO 操作中能并发处理大量的客户端请求,实现高吞吐率。 4.基于多路复用的高性能 I/O 模型????????Linux 中的 IO 多路复用机制是指一个线程处理多个 IO 流。多路指的是多个网络连接客户端,复用指的是复用同一个线程。简单来说,Redis 网络框架通过?select/pool/epoll 机制,让内核监听这些套接字上的连接请求或数据请求。一旦有请求到达,就会交给 Redis 线程处理,这就实现了一个 Redis 线程处理多个 IO 流的效果。Redis 线程不会阻塞在某一个特定套接字上,也就是说,不会阻塞在某一个特定的客户端请求处理上。 ? ? ? ? select/pool/epoll 提供了基于事件的回调机制,即针对不同事件的发生,调用相应的处理函数。select/pool/epoll 一旦监测到 套接字上有请求到达时,就会触发相应的事件。这些事件会被放进一个事件队列,Redis 通过单线程对该事件队列不断进行处理,在对事件队列中的事件进行处理时,会调用相应的处理函数,这就实现了基于事件的回调。因为 Redis 一直在对事件队列进行处理,所以能及时响应客户端请求,提升 Redis 的响应性能。 5.从单线程处理网络请求到多线程处理? ? ? ? 通过以上分析可知,虽然Redis通过多路复用极大的提高了性能,但Redis对请求的读取,解析,执行,响应等操作是在单线程中执行的。此时Redis的瓶颈就出现了,因为IO读写是阻塞的,当有Socket中有数据的时候,Redis会先将数据读取并解析,然后进行命令的处理,然后再将响应数据通过网络发送给客户端。当数据量越大时,拷贝与发送的数据量就越大,阻塞的时候就会越长。 ? ? ? ? 为了应对这个问题,Redis6.0采用多个 IO 线程来处理网络请求,提高网络请求处理的并行度。Redis6.0 的多 IO 线程只是用来处理网络请求,对于读写命令,Redis 仍然使用单线程来处理。这是因为,Redis 处理请求时,网络处理经常是瓶颈,通过多个 IO 线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作保证并发安全。 ?阶段一:服务端和客户端建立 Socket 连接,并分配IO处理线程 ?阶段二:主线程阻塞,IO 线程并行读取并解析请求 ?阶段三:主线程执行请求操作 ?阶段四:主线程阻塞,IO 线程并行回写 Socket 后主线程清空全局队列 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 2:30:57- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |