Python-解决内存泄漏

Question

我有一个Python程序，它运行一系列实验，没有打算从一个测试存储到另一个测试的数据。我的代码包含一个我完全找不到的内存泄漏（我已经查看了内存泄漏的其他线程）。由于时间限制，我不得不放弃寻找泄漏的机会，但是如果我能够隔离每个实验，该程序可能会运行足够长的时间以产生所需的结果。

• 在单独的线程中运行每个测试是否有帮助？
• 还有其他隔离泄漏影响的方法吗？

具体情况详

• 我的代码分为两部分：实验运行程序和实际实验代码。
• 尽管用于运行所有实验的代码与每个实验使用的代码之间没有共享全局变量，但某些类/函数必须共享。
• 实验运行程序不仅是简单的for循环，而且可以轻松地放入shell脚本中。它首先根据给定的配置参数来决定需要运行的测试，然后运行测试，然后以特定方式输出数据。
• 我尝试手动调用垃圾收集器，以防问题只是没有运行垃圾收集，但这没有用

更新资料

Gnibbler的答案实际上使我发现存储每次计算期间使用的 所有
数据的ClosenessCalculation对象没有被杀死。然后，我用它来手动删除一些似乎已解决内存问题的链接。

Answer 1

您可以使用类似的方法来帮助跟踪内存泄漏

>>> from collections import defaultdict
>>> from gc import get_objects
>>> before = defaultdict(int)
>>> after = defaultdict(int)
>>> for i in get_objects():
...     before[type(i)] += 1 
...

现在假设测试泄漏了一些内存

>>> leaked_things = [[x] for x in range(10)]
>>> for i in get_objects():
...     after[type(i)] += 1
... 
>>> print [(k, after[k] - before[k]) for k in after if after[k] - before[k]]
[(<type 'list'>, 11)]

11，因为我们泄漏了一个包含10个以上列表的列表