IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> 40.python之进程池 -> 正文阅读

[Python知识库]40.python之进程池

进程池

进程创建太多会造成资源消耗过大,为了避免出现这种情况,就需要固定进程的数量,此时就需要进程池。
可以把进程池当做一个池子,在这个池子里提前创建好一定数量的进程,进程池中的进程会伴随进程池一起被创建。
每个实例化对象当使用完成时,都会被内存管家回收,普通的进程也会伴随着创建与关闭的过程,而这样创建和关闭的过程是会消耗一定性能的;但是进程池中的进程经过一次创建后就不会关闭,可以重复使用,这样也就避免了创建与关闭的消耗。
进程池中的进程是随着进程池的关闭而关闭。
当有任务时,会先判断进程池中是否有空闲的进程(即没有执行任务的进程),若是有,任务会找到空闲进程开始执行;若是没有,进程会在进程池门口等待直到有空闲进程,然后再进入进程池找到进程开始执行。

进程池的创建:multiprocessing的Pool类

用法:

from multiprocessing import Pool
p = Pool(Processcount)

参数:

  • Processcount:创建进程的数量

进程池对象常用方法

在这里插入图片描述

例1:创建一个进程池

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号:{os.getpid()}')
    time.sleep(1)

if __name__ == '__main__':
    # 创建一个进程池,里面有3个进程
    p = Pool(3)
    for i in range(9):
        p.apply_async(func=test, args=(i,))

    # 若是不添加这个等待时间,会发现执行程序后并没有打印内容
    # 这是因为创建进程池的语句是主进程执行的,主进程在执行完创建进程池就结束了
    # 此时进程池还未执行完成,而进程池本就是主进程的一部分,进程池也就被关闭了,导致程序没有正常运行
    # 添加一个等待时间,这个时间是主进程执行的,这样可以让主进程保持执行的状态,而进程池也可以在此时执行了
    time.sleep(5)

结果:

  • 可以看出来有3个进程,且3个进程同时执行,最后的间隔时间是设置的等待5s
    在这里插入图片描述

例2:
前面的例1中,使用了time等待使进程池中的进程有时间去完成请求,除了这种方式外,还可以使用close和join的方法来使进程池中的进程正常执行
要注意使用join方法前要先使用close,不然会报错

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号:{os.getpid()}')
    time.sleep(1)

if __name__ == '__main__':
    start_time = time.time()
    # 创建一个进程池,里面有3个进程
    p = Pool(3)
    for i in range(9):
        p.apply_async(func=test, args=(i,))

    # 先关闭进程池,关闭后不再接受新请求
    p.close()
    # 等待进程池任务结束
    p.join()
    print(f'间隔时间:{time.time() - start_time}')

结果:

  • 可以看出,这里的时间间隔是3s多,不使用强制等待主进程,而是先关闭进程池再等待进程池中的进程执行结束后再关闭主线程
    在这里插入图片描述

例3:
使用apply_async创建的进程池中的进程,可以获取函数的返回值,使用get函数获取函数的返回值,并且无需设置close和join也会正常打印
而创建的普通进程,通过进程模块执行的函数无法获取返回值

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号:{os.getpid()}')
    time.sleep(1)
    return '返回值:count=%s,进程号=%s' % (count, os.getpid())

if __name__ == '__main__':
    start_time = time.time()
    # 创建一个进程池,里面有3个进程
    p = Pool(3)
    data = []
    for i in range(9):
        r = p.apply_async(func=test, args=(i,))
        data.append(r)

    # 打印函数返回值
    for j in data:
        print(j.get())
    
    print(f'间隔时间:{time.time() - start_time}')

结果:

  • 根据结果可以看出,打印出了函数的返回值
    在这里插入图片描述
  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-08-22 13:29:59  更:2021-08-22 13:30:03 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/26 11:08:41-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计