python-内存未归还内核

Question

我有一个非常简单的脚本，dels该脚本在打印heapy和pidstat报告的同时分配内存，这是对大型对象的唯一引用。运行脚本后，heapy告诉我应该不使用太多内存，而pidstat告诉我相反：

from guppy import hpy
import time
import sys
import os

'''
1) print heapy and pidstat report after starting and before actually doing any work
2) allocate some memory in a simple 2d array
3) print heapy and pidstat report
4) del the d2 array (attempt at garbage collection)
5) print heapy and pidstat report
6) sleep so pidstat can continue to be run to check on memory
'''

def pidstat(msg):
    print '==============================='
    print msg
    os.system('pidstat -r -p %s' % os.getpid())
    print '+++++++++++++++++++++++++++++++'
    print hpy().heap()[0]
    print '==============================='

pidstat('before doing anything')
docs = []
for doc in range(0, 10000):
    docs.append([j for j in range(0, 1000)])

pidstat('after fetching all the docs into memory')
del docs

pidstat('after freeing the docs')
time.sleep(60)

输出如下：

===============================
在做任何事情之前
Linux 2.6.38-15-generic（hersheezy）2012年08月14日_x86_64_（4 CPU）

01:05:20 PM PID minflt / s majflt / s VSZ RSS％MEM命令
01:05:20 PM 5360 0.44 0.00 44768 9180 0.11蟒蛇
+++++++++++++++++++++++++++++++++
一组19760个对象的分区。总大小= 1591024字节。
 索引计数％大小％累积％种类（类/类的字典）
     0 19760 100 1591024 100 1591024 100条
===============================
===============================
将所有文档提取到内存中之后
Linux 2.6.38-15-generic（hersheezy）2012年08月14日_x86_64_（4 CPU）

01:05:21 PM PID minflt / s majflt / s VSZ RSS％MEM命令
01:05:21 PM 5360 8.95 0.00 318656 279120 3.49蟒蛇
+++++++++++++++++++++++++++++++++
一组7431665对象的分区。总大小= 178359960字节。
 索引计数％大小％累积％种类（类/类的字典）
     0 7431665 100 178359960 100 178359960 100整数
===============================
===============================
释放文档后
Linux 2.6.38-15-generic（hersheezy）2012年08月14日_x86_64_（4 CPU）

01:05:29 PM PID minflt / s majflt / s VSZ RSS％MEM命令
01:05:29 PM 5360 40.23 0.00 499984 460480 5.77蟒蛇
+++++++++++++++++++++++++++++++++
一组19599个对象的分区。总大小= 1582016字节。
 索引计数％大小％累积％种类（类/类的字典）
     0 19599 100 1582016 100 1582016 100条
===============================

如何确定该内存已返回操作系统？

Answer 1

何时可以在python进程内重新使用内存与何时将内存释放到OS之间可能会有差异。特别是，标准的Python解释器（CPython）维护其自己的池和用于特定类型对象的空闲列表。它将在这些池本身中重用内存，但是一旦使用过，就不会将其释放到操作系统。

请参阅此了解更多详情。