进程池
进程创建太多会造成资源消耗过大,为了避免出现这种情况,就需要固定进程的数量,此时就需要进程池。
可以把进程池当做一个池子,在这个池子里提前创建好一定数量的进程,进程池中的进程会伴随进程池一起被创建。
每个实例化对象当使用完成时,都会被内存管家回收,普通的进程也会伴随着创建与关闭的过程,而这样创建和关闭的过程是会消耗一定性能的;但是进程池中的进程经过一次创建后就不会关闭,可以重复使用,这样也就避免了创建与关闭的消耗。
进程池中的进程是随着进程池的关闭而关闭。
当有任务时,会先判断进程池中是否有空闲的进程(即没有执行任务的进程),若是有,任务会找到空闲进程开始执行;若是没有,进程会在进程池门口等待直到有空闲进程,然后再进入进程池找到进程开始执行。
进程池的创建:multiprocessing的Pool类
用法:
from multiprocessing import Pool
p = Pool(Processcount)
参数:
进程池对象常用方法
例1:创建一个进程池
import os
import time
from multiprocessing import Pool
def test(count):
print(f'count={count},进程号:{os.getpid()}')
time.sleep(1)
if __name__ == '__main__':
# 创建一个进程池,里面有3个进程
p = Pool(3)
for i in range(9):
p.apply_async(func=test, args=(i,))
# 若是不添加这个等待时间,会发现执行程序后并没有打印内容
# 这是因为创建进程池的语句是主进程执行的,主进程在执行完创建进程池就结束了
# 此时进程池还未执行完成,而进程池本就是主进程的一部分,进程池也就被关闭了,导致程序没有正常运行
# 添加一个等待时间,这个时间是主进程执行的,这样可以让主进程保持执行的状态,而进程池也可以在此时执行了
time.sleep(5)
结果:
- 可以看出来有3个进程,且3个进程同时执行,最后的间隔时间是设置的等待5s
例2: 前面的例1中,使用了time等待使进程池中的进程有时间去完成请求,除了这种方式外,还可以使用close和join的方法来使进程池中的进程正常执行 要注意使用join方法前要先使用close,不然会报错
import os
import time
from multiprocessing import Pool
def test(count):
print(f'count={count},进程号:{os.getpid()}')
time.sleep(1)
if __name__ == '__main__':
start_time = time.time()
# 创建一个进程池,里面有3个进程
p = Pool(3)
for i in range(9):
p.apply_async(func=test, args=(i,))
# 先关闭进程池,关闭后不再接受新请求
p.close()
# 等待进程池任务结束
p.join()
print(f'间隔时间:{time.time() - start_time}')
结果:
- 可以看出,这里的时间间隔是3s多,不使用强制等待主进程,而是先关闭进程池再等待进程池中的进程执行结束后再关闭主线程
例3: 使用apply_async创建的进程池中的进程,可以获取函数的返回值,使用get函数获取函数的返回值,并且无需设置close和join也会正常打印 而创建的普通进程,通过进程模块执行的函数无法获取返回值
import os
import time
from multiprocessing import Pool
def test(count):
print(f'count={count},进程号:{os.getpid()}')
time.sleep(1)
return '返回值:count=%s,进程号=%s' % (count, os.getpid())
if __name__ == '__main__':
start_time = time.time()
# 创建一个进程池,里面有3个进程
p = Pool(3)
data = []
for i in range(9):
r = p.apply_async(func=test, args=(i,))
data.append(r)
# 打印函数返回值
for j in data:
print(j.get())
print(f'间隔时间:{time.time() - start_time}')
结果:
- 根据结果可以看出,打印出了函数的返回值
|