决定子进程，多处理和Python中的线程？
我想并行化我的Python程序，以便它可以在运行它的机器上使用多个处理器。我的并行化非常简单，程序的所有并行“线程”都是独立的，并将其输出写入单独的文件。我不需要线程交换信息，但是必须知道线程何时完成，因为管道的某些步骤取决于它们的输出。
可移植性很重要，因为我希望它可以在Mac，Linux和Windows上的任何Python版本上运行。考虑到这些限制，哪个是实现此功能的最合适的Python模块？我试图在线程，子进程和多处理之间做出选择，它们似乎都提供了相关的功能。
有什么想法吗？我想要最简单的便携式解决方案。
问题答案：
multiprocessing是一款很棒的瑞士军刀型模块。它比线程更通用，因为您甚至可以执行远程计算。因此，这是我建议您使用的模块。
该subprocess模块还允许您启动多个进程，但是我发现它比新的多处理模块使用起来不方便。
众所周知，线程是微妙的，并且使用CPython，线程通常仅限于一个内核（尽管正如其中一项注释所述，全局解释器锁（GIL）可以在从Python代码调用的C代码中释放）
。
我相信您引用的三个模块的大多数功能都可以以与平台无关的方式使用。在可移植性方面，请注意，multiprocessing仅在Python
2.6之后才是标准配置（尽管确实存在一些旧版本Python的版本）。但这是一个很棒的模块！
-
我知道子进程是进程，而不是线程。我使用了错误的语义，因为大多数人在谈到“多线程”时都知道您的意图。所以我会把它保留在标题中。 想象一下这样一个场景：使用一个自定义函数或模块，您连续有多个类似和复杂的事情要做。使用所有可用的核心/线程（例如8/16）非常有意义，这就是的目的。 理想情况下，您需要多个同时工作的人员，并向一个控制器发送/从一个控制器发送/回调消息。 node cpool、fork po
-
问题内容： 这应该非常简单，并且令我感到惊讶的是，我还没找到关于stackoverflow的答案。 我有一个类似程序的守护程序，该程序需要响应SIGTERM和SIGINT信号才能与新贵一起正常工作。我读到最好的方法是在与主线程不同的线程中运行程序的主循环，并让主线程处理信号。然后，当接收到信号时，信号处理程序应通过设置通常在主循环中检查的哨兵标志来告诉主循环退出。 我已经尝试过这样做，但是它没有按
-
问题内容： 我试图理解多处理比线程的优势。我知道多处理绕过了全局解释器锁，但是还有什么其他优点，线程不能做同样的事情？ 问题答案： 该模块使用线程，该模块使用进程。不同之处在于线程在相同的内存空间中运行，而进程具有单独的内存。这使得在具有多处理的进程之间共享对象更加困难。由于线程使用相同的内存，因此必须采取预防措施，否则两个线程将同时写入同一内存。这就是全局解释器锁的作用。 生成过程比生成线程
-
我有一个图像路径列表，我想在进程或线程之间划分，以便每个进程处理列表的某些部分。处理包括从磁盘加载图像，进行一些计算并返回结果。我正在使用Python 2.7 下面是我如何创建辅助进程 我所面临的问题是，当我在initializer函数中记录初始化时间时，我知道worker不是并行初始化的，而是每个worker都以5秒的间隔初始化，下面是供参考的日志 我尝试过使用将同时启动辅助线程 我知道Wind
-
我尝试在下面的步骤中使用多线程，但下面出现了一个异常： 我的步骤：代码： 公共类SynchronizedItemStreamReader实现ResourceAwareItemReaderItemStream{ 谢谢！！！
-
问题内容： 我正在学习如何使用Python多处理库。但是，当我浏览一些示例时，最终我在后台运行了许多python进程。 其中的例子看起来象下面这样： 现在，这是我的“ TOP”命令的屏幕截图： 我不知道如何一口气杀死他们。 ps … | grep python ....杀死吗？ 我需要添加哪种python代码，以避免再次发生这种悲惨的情况。谢谢！ 问题答案： 您需要在工作队列中处理您的进程，该进程