Python：内存泄漏调试

Question

我有一个在django中运行的小型多线程脚本，随着时间的流逝，它开始使用越来越多的内存。将其保留一整天会消耗大约6GB的RAM，我开始进行交换。

在http://www.lshift.net/blog/2008/11/14/tracing-python-memory-
leaks
之后，我将其视为最常见的类型（仅使用800M内存）：

(Pdb)  objgraph.show_most_common_types(limit=20)
dict                       43065
tuple                      28274
function                   7335
list                       6157
NavigableString            3479
instance                   2454
cell                       1256
weakref                    974
wrapper_descriptor         836
builtin_function_or_method 766
type                       742
getset_descriptor          562
module                     423
method_descriptor          373
classobj                   256
instancemethod             255
member_descriptor          218
property                   185
Comment                    183
__proxy__                  155

这没有什么奇怪的。我现在应该怎么做才能帮助调试内存问题？

更新： 尝试人们推荐的一些东西。我将程序运行了一整夜，当我完成工作时，使用了50％* 8G == 4G的RAM。

(Pdb) from pympler import muppy
(Pdb) muppy.print_summary()
                                     types |   # objects |   total size
========================================== | =========== | ============
                                   unicode |      210997 |     97.64 MB
                                      list |        1547 |     88.29 MB
                                      dict |       41630 |     13.21 MB
                                       set |          50 |      8.02 MB
                                       str |      109360 |      7.11 MB
                                     tuple |       27898 |      2.29 MB
                                      code |        6907 |      1.16 MB
                                      type |         760 |    653.12 KB
                                   weakref |        1014 |     87.14 KB
                                       int |        3552 |     83.25 KB
                    function (__wrapper__) |         702 |     82.27 KB
                        wrapper_descriptor |         998 |     77.97 KB
                                      cell |        1357 |     74.21 KB
  <class 'pympler.asizeof.asizeof._Claskey |        1113 |     69.56 KB
                       function (__init__) |         574 |     67.27 KB

这不等于4G，也不能给我任何可以修复的大数据。unicode来自set（）的“ done”节点，列表看起来就像random weakref。

我不使用guppy，因为它需要C扩展名，而且我没有root用户，因此构建起来很麻烦。

我使用的所有对象都没有__del__方法，并且通过库查找，它看起来既不像Django，也不像python-mysqldb那样。还有其他想法吗？

Answer 1

参见http://opensourcehacker.com/2008/03/07/debugging-django-memory-leak-with-
trackrefs-and-guppy/
。简短的回答：如果您正在运行django，但不是以基于Web请求的格式运行，则需要手动运行db.reset_queries()（当然，正如其他人所提到的，DEBUG
= False）。Django会reset_queries()在网络请求后自动执行操作，但是按照您的格式，这种操作永远不会发生。