Python 并发编程的有三种方式
多线程 Thread、 多进程Process、 多协程Coroutine
CPU 密集型 (CPU-bound) bound 限制
CPU 密集型也叫计算密集型,是指I/O 在很短的时间就可以完成,CPU 需要大量的计算和处理 , 特点就是CPU 占用率相当高。 例如:压缩解压缩、加密解密、正则表达式搜索
IO 密集型(I/O bound)
IO 密集型指的是系统运作大部分的状况是CPU 在等I/O( 硬盘/ 内存) 的读写操作、 CPU 占用率仍然较低。 例如: 文件处理程序、网络爬虫程序、读写数据库程序
进程、线程、 多协程 对比
- 多进程 Process (multiprocessing)
优点: 可以利用多核CPU 并行计算
缺点: 占用资源最多,可以启动数目比线程少
适用于: CPU 密集型计算
优点: 相比进程, 更加轻量级, 占用资源少
缺点:
相比进程: 多线程只能并发执行,不能利用CPU(GIL)
相比协程: 启动数目有限制, 占用内存资源, 有线程切换开销
适用于: I/O 密集型计算。 同时运行的任务数目要求不多。
优点: 内存开销少,启动协程数量最多
缺点 支持的库有限制(alohttp vs request)、代码实现复杂
适用于: I/O 密集型计算、需要超多任务执行运行、但有现成的库支持的场景。
怎么根据任务选择对应的技术
|