在队列为空之前调用join时，Python 3多处理队列死锁

Question

我在理解multiprocessingpython 3模块中的队列时遇到问题

这就是他们在编程指南中所说的：

请记住，将项目放入队列的进程将在终止之前等待，直到所有缓冲的项目由“
feeder”线程馈送到基础管道为止。（子进程可以调用队列的Queue.cancel_join_thread方法来避免这种行为。）

这意味着，无论何时使用队列，都需要确保在加入该流程之前，将最终删除所有已放入队列的项目。否则，您无法确定将项目放入队列的进程将终止。还请记住，非守护进程将自动加入。

一个将陷入僵局的示例如下：

从多处理导入过程，队列

定义f（q）：
    q.put（'X'* 1000000）

如果__name__ =='__main__'：
    队列=队列（）
    p =进程（目标= f，参数=（队列，））
    p.start（）
    p.join（）＃这个死锁
    obj = queue.get（）

此处的解决方法是交换最后两行（或简单地删除p.join（）行）。

因此显然，queue.get()不应在之后调用join()。

但是，有一些使用队列的示例，其中get在joinlike之后调用该队列：

import multiprocessing as mp
import random
import string

# define a example function
def rand_string(length, output):
    """ Generates a random string of numbers, lower- and uppercase chars. """
    rand_str = ''.join(random.choice(
                string.ascii_lowercase
                + string.ascii_uppercase
                + string.digits)
    for i in range(length))
        output.put(rand_str)

 if __name__ == "__main__":
     # Define an output queue
     output = mp.Queue()

     # Setup a list of processes that we want to run
     processes = [mp.Process(target=rand_string, args=(5, output))
                    for x in range(2)]

     # Run processes
    for p in processes:
        p.start()

    # Exit the completed processes
    for p in processes:
        p.join()

    # Get process results from the output queue
    results = [output.get() for p in processes]

    print(results)

我已经运行了该程序，并且可以运行。

有人可以帮助我了解僵局的规则在这里吗？

Answer 1

允许数据在进程之间传输的多处理队列实现依赖于标准OS管道。

OS管道的长度不是无限长，因此在put()操作期间，可能会在OS中阻止将数据排队的进程，直到其他一些进程用来get()从队列中检索数据为止。

对于少量数据（例如您的示例中的数据），主流程可以将join()所有产生的子流程然后获取数据。这通常效果很好，但无法扩展，也不清楚何时断开。

但是它肯定会破坏大量数据。子流程将在put()等待主流程通过删除队列中的某些数据时get()被阻止，但是主流程在join()等待子流程完成时被阻塞。这将导致死锁。

这是用户遇到此确切问题的示例。我在答案中张贴了一些代码，帮助他解决了问题。