IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 生产者和消费者模式 -> 正文阅读

[大数据]生产者和消费者模式

这几天同事在处理RK平台的基于mipi协议的数据时候,碰到数据透传到usb到PC端的时候出现问题,因为数据量比较大,加上是并发传输,所以通信上用到了生产者消费者模式。

生产者消费者模式,或者更贴切的说它是一种模型,不能说属于一种设计模式。具体来讲,就是一个系统中存在生产者和消费者两种角色,他们通过内存缓冲区进行通信,而如何保证并发通信,这就是程序员要思考的问题。比如说国内的淘宝,拼多多,京东等超级流量级别的电子商务,用户访问浏览页面的时候,图片资源以及网页内容要在几秒内就刷出来,这些就是程序员工程师的智慧的结晶,而背后很大程度上生产者与消费者模式用得淋漓尽致。

图片

生产者是一个或者一堆线程,消费者也是一个或者一堆堆线程,内存缓冲区可以使用List数组队列,数据类型只需要定义一个简单的类,如何处理多线程之间的协作通信。这是一门艺术性的问题,像我工作中遇到的场景,rk平台的mipi数据总是不断的吐露出来,而我要能随时接纳数据并且不能影响帧率,这就很考验人。我同事遇到就懵圈了,不会利用这个模式去解决问题,如果你还在用单线程的操作去设立数据缓存区,我觉得就有点愚蠢了。

在这个模型中,最关键就是内存缓冲区为空的时候消费者必须等待,而内存缓冲区满的时候,生产者必须等待。其他时候可以是个动态平衡。值得注意的是多线程对临界区资源的操作时候必须保证在读写中只能存在一个线程,所以需要设计锁的策略。

这里要提到的是用intel线程库

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-09-06 11:13:37  更:2021-09-06 11:15:45 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:07:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码