多进程或Python中的线程？

Question

我有一个python应用程序，它可以捕获数据集合，并针对该集合中的每个数据执行任务。由于涉及到延迟，因此该任务需要一些时间才能完成。由于这种延迟，我不希望每个数据都随后执行任务，而是希望它们全部并行发生。我应该使用多进程吗？或执行此操作的线程？

我尝试使用线程，但遇到了一些麻烦，通常某些任务实际上不会执行。

Answer 1

如果您确实受到计算的限制，那么使用多处理模块可能是最轻巧的解决方案（就内存消耗和实现难度而言）。

如果您受I / O约束，那么使用线程模块通常会给您带来良好的效果。确保使用线程安全存储（例如Queue）将数据移交给线程。否则，将它们生成时交给他们的唯一的一条数据。

PyPy专注于性能。它具有许多可帮助进行计算绑定处理的功能。他们还支持软件事务存储，尽管这还不是生产质量。答应的是，您可以使用比多处理更简单的并行或并发机制（这有一些尴尬的要求。）

无堆栈Python也是一个好主意。如上所述，Stackless具有可移植性问题。空载燕子是有前途的，但现在已不复存在。Pyston是另一个专注于速度的（未完成的）Python实现。它采用的方法不同于PyPy，可能会产生更好（或略有不同）的加速。