新手python子进程：“写入错误：管道损坏”

Question

感谢以下有用的建议：

所以当我似乎固定

1. 将命令分成对Popen的单独调用
2. stderr = subprocess.PIPE作为每个Popen链的参数。

新代码：

import subprocess
import shlex
import logging

def run_shell_commands(cmds):
    """ Run commands and return output from last call to subprocess.Popen.
        For usage see the test below.
    """
    # split the commands
    cmds = cmds.split("|")
    cmds = list(map(shlex.split,cmds))

    logging.info('%s' % (cmds,))

    # run the commands
    stdout_old = None
    stderr_old = None
    p = []
    for cmd in cmds:
        logging.info('%s' % (cmd,))
        p.append(subprocess.Popen(cmd,stdin=stdout_old,stdout=subprocess.PIPE,stderr=subprocess.PIPE))
        stdout_old = p[-1].stdout
        stderr_old = p[-1].stderr
    return p[-1]


pattern = '"^85567      "'
file = "j"

cmd1 = 'grep %s %s | sort -g -k3 | head -10 | cut -d" " -f2,3' % (pattern, file)
p = run_shell_commands(cmd1)
out = p.communicate()
print(out)

原始帖子：

我花了很长时间尝试解决通过简单的subprocess.Popen传递问题。

码：

import subprocess
cmd = 'cat file | sort -g -k3 | head -20 | cut -f2,3' % (pattern,file)
p = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE)
for line in p.stdout:
    print(line.decode().strip())

输出文件的长度约为1000行：

...
sort: write failed: standard output: Broken pipe
sort: write error

文件长度大于241行的输出：

...
sort: fflush failed: standard output: Broken pipe
sort: write error

文件长度小于241行的输出很好。

我一直在疯狂地阅读文档并进行谷歌搜索，但是我缺少的子流程模块有一些基础知识……也许与缓冲区有关。我试过p.stdout.flush（）并使用缓冲区大小和p.wait（）。我试图用“
sleep 20; 猫中等文件”，但这似乎没有错误。

Answer 1

从子流程文档的配方中：

# To replace shell pipeline like output=`dmesg | grep hda`
p1 = Popen(["dmesg"], stdout=PIPE)
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]