[Python知识库]python中subprocess.Popen阻塞问题分析

python中subprocess.Popen阻塞问题分析

在用subprocess.Popen对会生成大规模前台输出的指令进行运行时会产生阻塞问题，在某一时刻就会导致无法及时输出脚本的运行情况。用system.os一定程度上可以简单粗暴的解决这种问题，然而由于需要在jenkens上进行部署，在jenkens上输出的console中，system.os中的脚本输出展示优先级高于python本身的输出，导致所看到的输出结果顺序错乱，因此还是要想办法投奔回subprocess.Popen 的怀抱。

解决方法参考：

http://backend.blog.163.com/blog/static/2022941262014016710912/

解决方法是不用subprocess提供的PIPE，而是使用自己创建的流。如此，可以控制流的大小。不多说，直接
上代码：

import subprocess
import traceback
import tempfile
try:
    cmd = "ls -lh"
    out_temp = tempfile.SpooledTemporaryFile(bufsize=10*1000)
    fileno = out_temp.fileno()
    obj = subprocess.Popen(cmd,stdout=fileno,stderr=fileno,shell=True)
    obj.wait()
    
    out_temp.seek(0)
    lines = out_temp.readlines()
    
    
    print lines
except Exception, e:
    print traceback.format_exc()
finally:
    if out_temp:
        out_temp.close()

解决方式2 还是os.open

输出被缓冲。您必须刷新此缓冲区：

import os
import sys
print('Hi')
sys.stdout.flush()
os.system('cat a.py')

解决方式3

对于subprocess,官方文档里推荐使用 Popen.communicate()。这个方法会把输出放在内存，而不是管道里，所以这时候上限就和内存大小有关了，一般不会有问题。