Python多处理内存分配过高

Question

我已经读了一些关于我的问题的帖子（比如这篇文章），但没有一篇能解决这个问题。在我的Flask应用程序中，我使用内置在多处理中的Python（在16个物理核心上）并行下载了32-64个图像，如下所示：

pool = Pool(int(torch.multiprocessing.cpu_count()/2), maxtasksperchild=maxchilds)
download_func = partial(download)
img_dicts = pool.map(download_func, url_dicts)
pool.close()
pool.join()
gc.collect()


def download(url_dict):
try:
    image = io.imread(url_dict["img_url"])
except Exception:
    image = None
gc.collect()

return {"post_id": url_dict["post_id"], "img": image}

下载工作正常，除了内存使用外，速度显著提高。在下载过程中，Python分配了大约100GB的RAM，尽管实际只使用了大约2GB。每个进程分配超过6 gb的RAM，仅用于下载最多4个图像，每个图像的容量为300-700KB。maxchildspertask被设置为3，以避免高内存使用率，但没有带来显著的改进。

我在Windows上运行，Python 3.7，64位

你有同样的经历或者你有什么想法，我该如何修复记忆问题？

Answer 1

心理调试告诉我，您在主脚本中分配了一些大的东西，但没有用if_name__=='__main__':保护来保护它，例如，您的主脚本如下所示：

# Perform imports (some of which might contain their own definitions of big_stuff)

# Define classes and/or functions

big_stuff = make_big_stuff()

# ... do more things ...

# ... eventually run code that makes Pool ...

而不是：

# Perform cheap imports

# Define classes and/or functions

def main():
    # Perform any imports which might contain definitions of their own big_stuff
    big_stuff = make_big_stuff()

    # ... do more things ...

    # ... eventually run code that makes Pool ...

if __name__ == '__main__':
    main()

当您执行前者时，每个新生成的worker都会在启动时尽职尽责地重新创建big_stuff，试图模拟forking行为，以确保主脚本中的所有全局在父脚本和子脚本中定义相同。正如您所看到的，这导致了爆炸性的内存使用。解决方案是保护以下任何代码的执行：

null

使用：

if __name__ == '__main__':

guard，所以它只在父进程中运行（workers是在主html" target="_blank">脚本以'__mp_main__'或类似名称运行的情况下启动的，因此它们不会执行这样保护的代码）。这意味着如果需要的话，子进程无法访问的任何内容都必须通过（因此，如果所有进程都需要6 GB的数据，则需要查看共享内存以避免复制），但至少在工作人员根本不需要的情况下，您不会在启动时立即消耗它。