在C或Python中使用popen绕过子进程输出的缓冲

Question

我有一个关于popen（及所有相关功能）的一般问题，适用于所有操作系统，当我编写python脚本或一些c代码并从控制台（win或linux）运行生成的可执行文件时，我可以立即看到输出从过程。但是，如果我运行与派生进程相同的可执行文件，并将其stdout重定向到管道中，则输出会在某个位置缓冲，通常最多4096字节，然后再将其写入父进程可以读取的管道中。

以下python脚本将生成1024字节的块的输出

import os, sys, time

if __name__ == "__main__":
     dye = '@'*1024
     for i in range (0,8):
        print dye
        time.sleep(1)

以下python脚本将执行上一个脚本，并在到达管道时逐字节读取输出

import os, sys, subprocess, time, thread

if __name__ == "__main__":
    execArgs = ["c:\\python25\\python.exe", "C:\\Scripts\\PythonScratch\\byte_stream.py"]

    p = subprocess.Popen(execArgs, bufsize=0, stdout=subprocess.PIPE)
    while p.returncode == None:
        data = p.stdout.read(1)
        sys.stdout.write(data)
        p.poll()

调整操作系统的路径。在此配置中运行时，尽管popen命令的缓冲区大小设置为0（无论如何都是默认值），输出将不会出现在1024的块中，而是4096的块中。有人可以告诉我如何更改此行为吗？有什么办法可以迫使操作系统以与从控制台运行时相同的方式来处理分叉进程的输出？没有缓冲？

Answer 1

通常，标准C运行时库（或多或少代表每个系统上的每个程序运行；-）检测stdout是否为终端；如果没有，它将缓冲输出（与未缓冲的输出相比，这将是巨大的效率优势）。

如果您在控制正在编写的程序，则可以（建议另一个答案）连续刷新stdout，或者（如果可行的话，更优雅些）尝试强制stdout不被缓冲，例如通过使用带有-u命令行标志的Python运行：

-u     : unbuffered binary stdout and stderr (also PYTHONUNBUFFERED=x)
         see man page for details on internal buffering relating to '-u'

（手册页添加的内容是提及stdin和二进制模式的问题）。

如果您不能或不想触摸正在编写的程序，-u或者正在读取的程序上的类似内容不太可能有所帮助（最重要的缓冲是发生在编写者标准程序上的缓冲，而不是发生在编写程序标准上的缓冲）。读者的标准输入）。另一种方法是欺骗作者，使其相信它是通过pty标准库模块或更高级别的第三方pexpect模块（或者，对于Windows而言，是其端口）正在写入终端（即使实际上它正在写入另一个程序！）。wexpect）。