Python多处理内存增加

Question

from myfuncs import do, process

class Worker(multiprocessing.Process):

    def __init__(self, lock):
        multiprocesing.Process.__init__(self)
        self.lock = lock
        self.queue = Redis(..) # this is a redis based queue
        self.res_queue = Redis(...)

     def run():
         while True:
             job = self.queue.get(block=True)
             job.results = process(job)
             with self.lock:
                 post_process(self.res_queue, job)


def main():
    lock = multiprocessing.Semaphore(1)
    ps = [Worker(lock) for _ in xrange(4)]
    [p.start() for p in ps]
    [p.join() for p in ps]

程序每天使用的内存在增加。有人能搞清楚是怎么回事吗？

当作业超出运行方法的范围时，内存应该是空闲的，对吗？

Answer 1

当作业超出运行方法的范围时，内存应该是空闲的，对吗？

首先，作用域是整个run方法，它永远循环，所以不会发生这种情况。（此外，当退出run方法时，进程将关闭，其内存将被释放……)

但即使它超出了范围，这也不意味着你似乎认为它意味着什么。Python不像C++，在C++中有存储在堆栈中的变量。所有对象都存在于堆中，并且它们一直处于活动状态，直到不再有对它们的引用为止。变量超出作用域意味着该变量不再引用它以前引用的任何对象。如果该变量是对象的唯一引用，那么它将被释放*但是如果在其他地方有其他引用，那么在其他引用消失之前，对象不能被释放。