Python多处理池与多处理线程池
我有一个图像路径列表，我想在进程或线程之间划分，以便每个进程处理列表的某些部分。处理包括从磁盘加载图像，进行一些计算并返回结果。我正在使用Python 2.7多重处理。池
下面是我如何创建辅助进程
def ProcessParallel(classifier,path):
files=glob.glob(path+"\*.png")
files_sorted=sorted(files,key=lambda file_name:int(file_name.split('--')[1]))
p = multiprocessing.Pool(processes=4,initializer=Initializer,initargs=(classifier,))
data=p.map(LoadAndClassify, files_sorted)
return data
我所面临的问题是，当我在initializer函数中记录初始化时间时，我知道worker不是并行初始化的，而是每个worker都以5秒的间隔初始化，下面是供参考的日志
2016-08-08 12:38:32,043 - custom_logging - INFO - Worker started
2016-08-08 12:38:37,647 - custom_logging - INFO - Worker started
2016-08-08 12:38:43,187 - custom_logging - INFO - Worker started
2016-08-08 12:38:48,634 - custom_logging - INFO - Worker started
我尝试过使用多处理。水塘ThreadPool将同时启动辅助线程
我知道Windows上的多进程是如何工作的，我们必须放置一个主保护，以保护我们的代码不产生无限进程。在我的例子中，问题是我使用FASTCGI在IIS上托管了我的脚本，而我的脚本不是main，它由FASTCGI进程运行（有一个wfastcgi.py脚本负责）。现在，wfastcgi内部有一个主守卫。py和日志表明我没有创建无限多个进程
现在我想知道多处理池不同时创建工作线程的原因到底是什么，我非常感谢您的帮助。
编辑1：这是我的初始化函数
def Initializer(classifier):
global indexing_classifier
logger.info('Worker started')
indexing_classifier=classifier
共有1个答案
我尝试在cgi/wsgi下运行多处理时遇到了很多问题，它在本地运行得很好，但在真正的Web服务器上却不行。。。最终它就是不兼容。如果您需要进行多处理，那么将异步作业发送到芹菜之类的东西。
-
问题内容： 是否有用于工作线程的类，类似于多处理模块的类？ 我喜欢例如并行化地图功能的简单方法 但是，我希望这样做而不会产生新流程的开销。 我知道。但是，在我的用例中，该函数将是绑定的函数，python包装器将在实际函数调用之前为其释放。 我必须编写自己的线程池吗？ 问题答案： 我刚刚发现模块中实际上 有一个基于线程的Pool接口，但是它有些隐藏并且没有正确记录。 可以通过导入 它是使用包装Pyt
-
我有下面的代码片段，它试图在多个子进程之间分割处理。 while循环中的主进程正在调用search函数，如果队列达到阈值计数，则处理池将映射到进程函数，其中作业来自队列。我的问题是，python多处理池是在执行期间阻塞主进程，还是立即继续执行？我不想遇到这样的情况，“has_jobs_to_process（）”的计算结果为true，并且在处理作业的过程中，另一组作业的计算结果为true，并且再次调
-
我知道子进程是进程，而不是线程。我使用了错误的语义，因为大多数人在谈到“多线程”时都知道您的意图。所以我会把它保留在标题中。 想象一下这样一个场景：使用一个自定义函数或模块，您连续有多个类似和复杂的事情要做。使用所有可用的核心/线程（例如8/16）非常有意义，这就是的目的。 理想情况下，您需要多个同时工作的人员，并向一个控制器发送/从一个控制器发送/回调消息。 node cpool、fork po
-
问题内容： 我想使用multiprocessing.Pool，但是multiprocessing.Pool不能在超时后中止任务。我找到了解决方案，并对其进行了一些修改。 主要修改-使用 sys.exit（1） 退出工作进程。它杀死了工作进程并杀死了工作线程，但是我不确定这个解决方案是否很好。当进程因正在运行的作业而终止时，我会遇到哪些潜在的问题？ 问题答案： 停止正在运行的作业没有隐含的风险，操作
-
问题内容： 我试图理解多处理比线程的优势。我知道多处理绕过了全局解释器锁，但是还有什么其他优点，线程不能做同样的事情？ 问题答案： 该模块使用线程，该模块使用进程。不同之处在于线程在相同的内存空间中运行，而进程具有单独的内存。这使得在具有多处理的进程之间共享对象更加困难。由于线程使用相同的内存，因此必须采取预防措施，否则两个线程将同时写入同一内存。这就是全局解释器锁的作用。 生成过程比生成线程
-
问题内容： 我发现在Python 3.4中，用于多处理/线程的库很少：多处理vs线程与asyncio。 但是我不知道使用哪个，或者是“推荐的”。他们做的是同一件事还是不同？如果是这样，则将哪一个用于什么？我想编写一个在计算机上使用多核的程序。但是我不知道我应该学习哪个图书馆。 问题答案： 它们旨在（略有）不同的目的和/或要求。CPython（典型的主线Python实现）仍然具有全局解释器锁，因此多