将100％的内核与多处理模块一起使用

Question

我有两段代码用于学习Python 3.1中的多处理。我的目标是使用所有可用处理器中的100％。但是，此处的代码段在所有处理器上仅达到30％-50％。

无论如何，要“强制” python使用全部100％？操作系统（Windows
7、64位）是否限制了Python对处理器的访问？当下面的代码段运行时，我打开任务管理器并观察处理器的峰值，但从未达到并维持100％。除此之外，我还可以看到在此过程中创建和销毁了多个python.exe进程。这些过程与处理器有何关系？例如，如果我生成4个进程，则每个进程都没有使用它自己的核心。相反，流程使用什么？他们共享所有核心吗？如果是这样，是否是操作系统迫使进程共享内核？

import multiprocessing

def worker():
    #worker function
    print ('Worker')
    x = 0
    while x < 1000:
        print(x)
        x += 1
    return

if __name__ == '__main__':
    jobs = []
    for i in range(50):
        p = multiprocessing.Process(target=worker)
        jobs.append(p)
        p.start()

代码段2

from multiprocessing import Process, Lock

def f(l, i):
    l.acquire()
    print('worker ', i)
    x = 0
    while x < 1000:
        print(x)
        x += 1
    l.release()

if __name__ == '__main__': 
    lock = Lock()
    for num in range(50):
        Process(target=f, args=(lock, num)).start()

Answer 1

要使用所有内核的100％，请勿创建和销毁新进程。

每个核心创建几个进程，并将它们与管道链接。

在操作系统级别，所有流水线进程同时运行。

您写的越少（越多委派给OS），您越有可能使用尽可能多的资源。

python p1.py | python p2.py | python p3.py | python p4.py ...

将最大程度地利用您的CPU。