IPython.parallel不使用多核？

Question

我正在试验，IPython.parallel只想在不同的引擎上启动几个shell命令。

我有以下笔记本：

储存格0：

from IPython.parallel import Client
client = Client()
print len(client)
5

并启动命令：

单元格1：

%%px --targets 0 --noblock
!python server.py

单元格2：

%%px --targets 1 --noblock
!python mincemeat.py 127.0.0.1

单元格3：

%%px --targets 2 --noblock
!python mincemeat.py 127.0.0.1

它使用的mincemeat是MapReduce的实现。当我启动第一个时，!python mincemeat.py 127.0.0.1它大约使用一个内核的100％，然后当我启动第二个时，每个内核下降到50％。我的机器上有4个核心（+虚拟核心），当直接从终端启动而不是在笔记本电脑中启动时可以使用它们。

我有什么想念的吗？我想每个!python mincemeat.py 127.0.0.1命令使用一个核心。

编辑：
为清楚起见，这是另一件事，它没有使用多核：

单元格1：

%%px --targets 0 --noblock

a = 0
for i in xrange(100000):
    for j in xrange(10000):
        a += 1

单元格2：

%%px --targets 0 --noblock

a = 0
for i in xrange(100000):
    for j in xrange(10000):
        a += 1

我想我丢失了一些东西。我相信这两个单元（如果有）应该运行一个不同的内核。但是，事实并非如此。同样，CPU使用率表明它们共享相同的内核并使用50％的内核。我做错了什么？

Answer 1

聊天讨论摘要：

CPU亲和力是一种将进程固定到特定CPU内核的机制，这里的问题是，有时由于导入特定的BLAS库链接，导入numpy可能最终将Python进程固定到CPU
0。您可以通过运行此单元格取消固定所有引擎：

%%px
import os
import psutil
from multiprocessing import cpu_count

p = psutil.Process(os.getpid())
p.set_cpu_affinity(range(cpu_count()))
print p.get_cpu_affinity()

它采用multiprocessing.cpu_count获得CPU的数量，然后用所有的CPU每引擎相关联。

一个IPython笔记本探索这个问题。