如何在Python中使用psutil获得程序的最大内存使用率

Question

我正在使用以下代码来获取程序的最大内存使用率。

    import os, subprocess , psutil
    def mem(cmd):
        try:
            with open('in.txt','r') as infile, open('out.txt', 'w') as outfile:
                p=psutil.Popen("./"+cmd,shell=False,stdin=infile,stdout = outfile)
            print p.memory_info()
        except Exception:
             print "Error"
    cmd=raw_input()
    mem(cmd)

问题有时是在程序的初始运行中，内存使用量输出为（0,0），但随后它显示正确的输出。我不知道为什么会这样。对于某些程序，例如c ++中的hello
world程序，输出pmem(rss=4096, vms=315392)约为0.3M（我认为输出以字节为单位），但在ideone.com中运行hello
world程序则输出为〜3M。为什么会有这种分散？

cmd是可执行文件的名称。

命令输出 print subprocess.check_output(['ps', 'v', '-p', str(p.pid)])

PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND 16150 pts/16 Z+ 0:00 0 0 0 0 0.0 [a.out] <defunct>

我的示例C ++程序之一：

`int a[1000000];
int main()
{
    return 0;
}`

有时返回pmem（rss = 4096，vms = 4313088）有时返回pmem（rss = 0，vms = 0）

Answer 1

<defunct>表示该子进程是一个僵尸进程（已死，但其父级（p.poll()或p.wait()）尚未读取其状态）。这似乎都psutil和ps节目RSS是这样的过程为零。

结果取决于子流程是否比p.memory_info()调用的更早退出。这是一场比赛。如果您在C
++程序的出口处添加了延迟，则p.memory_info()可能在子进程退出之前被调用，并且您应该获得非零的结果。

问题是我可以得到任意程序进行评估。语言也不是固定的。没有解决这个问题的优雅方法吗？

您可能需要操作系统支持才能保存有关子进程内存使用情况的信息，即使该进程退出后也是如此。或者，您可以使用诸如的内存分析器运行该程序valgrind并读取其结果。收集结果：

$ valgrind --tool=massif cmd arg1 arg2

要查看结果，可以使用ms_print：

$ ms_print massif.out.* | less

或GUI Massif- Visualizer

@mdadm建议了一个更简单的解决方案：time命令：

from subprocess import Popen, PIPE

p = Popen(['time', '-f', '%M'] + args, stderr=PIPE)
ru_maxrss = int(p.communicate()[1])
print("Maximum rss %d KB" % ru_maxrss)

GNU时间用于wait3()填充资源使用情况信息（如果可用）。可以在Python中调用：

import os
from subprocess import Popen

p = Popen(args)
ru = os.wait4(p.pid, 0)[2]
print("Maximum rss %d KB" % ru.ru_maxrss)

我已经比较了psutil.Process.memory_info（rss）ru_maxrss返回os.wait4的最大值，和返回的值以及通过报告的最大总内存valgrind --tool=massif： 它们是相似的 。