python中打开的文件太多

Question

我写了一种测试套件，它占用大量文件。一段时间（2h）之后，我得到了IOError: [Errno 24] Too many open files:'/tmp/tmpxsqYPm'。我仔细检查了所有文件句柄是否再次关闭它们。但是错误仍然存​​在。

我试图找出使用允许的文件描述符resource.RLIMIT_NOFILE的数量以及当前打开的文件描述符的数量：

def get_open_fds():

    fds = []
    for fd in range(3,resource.RLIMIT_NOFILE):
            try:
                    flags = fcntl.fcntl(fd, fcntl.F_GETFD)
            except IOError:
                    continue

            fds.append(fd)

    return fds

因此，如果我运行以下测试：

print get_open_fds()
for i in range(0,100):
    f = open("/tmp/test_%i" % i, "w")
    f.write("test")
    print get_open_fds()

我得到以下输出：

[]
/tmp/test_0
[3]
/tmp/test_1
[4]
/tmp/test_2
[3]
/tmp/test_3
[4]
/tmp/test_4
[3]
/tmp/test_5
[4] ...

真奇怪，我期望打开的文件描述符会越来越多。我的脚本正确吗？

我正在使用python的记录器和子进程。那可能是我FD泄漏的原因吗？

谢谢，丹尼尔

Answer 1

您的测试脚本会覆盖f每次迭代，这意味着该文件每次都会关闭。记录到文件和subprocess使用管道都会消耗描述符，这可能会导致耗尽。