我不确定这是否更多的是操作系统问题,但是我想在这里问一下,以防有人对Python有所了解。
我一直在尝试使用并行化CPU繁重的for
循环joblib
,但是我发现不是将每个工作进程分配给不同的内核,而是最终将所有工作进程分配给相同的内核,并且没有性能提升。
这是一个非常简单的例子…
from joblib import Parallel,delayed
import numpy as np
def testfunc(data):
# some very boneheaded CPU work
for nn in xrange(1000):
for ii in data[0,:]:
for jj in data[1,:]:
ii*jj
def run(niter=10):
data = (np.random.randn(2,100) for ii in xrange(niter))
pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
results = pool(delayed(testfunc)(dd) for dd in data)
if __name__ == '__main__':
run()
…这是我在htop运行此脚本时看到的内容:
我在具有4核的笔记本电脑上运行Ubuntu 12.10(3.5.0-26)
。显然joblib.Parallel
是为不同的工作人员生成了单独的进程,但是有什么方法可以使这些进程在不同的内核上执行?
经过更多的谷歌搜索后,我在这里找到了答案。
事实证明,某些Python模块(numpy,scipy,tables,pandas,skimage
对进口核心相关性......)的混乱。据我所知,这个问题似乎是由它们链接到多线程OpenBLAS库引起的。
解决方法是使用
os.system("taskset -p 0xff %d" % os.getpid())
在导入模块之后粘贴了这一行,我的示例现在可以在所有内核上运行:
问题内容: 我想在共享内存中使用一个numpy数组,以便与多处理模块一起使用。困难是像numpy数组一样使用它,而不仅仅是ctypes数组。 这将产生如下输出: 可以ctypes方式访问该数组,例如arr[i]说得通。但是,它不是一个numpy数组,因此我无法执行,或。我想一个解决方案是将数组转换为数组。但是(除了无法完成这项工作外),我不相信会再共享它。 对于必须解决的常见问题,似乎将有一个标准
问题内容: 我使用numpy计算了向量。如何使用多核和numpy计算向量? 问题答案: 我们可以利用基于NumPy的解决方案- 将此移植以利用快速操作以及多核功能- 时间- 对于具有不同数量的内核/线程的Numexpr解决方案-
我用pip安装了numpy,版本1.15 然而,当我使用python导入numpy时,我得到了版本1.7.1 这个numpy是从哪里来的,我怎样才能禁用它? 我检查了sys.path的所有文件夹,并删除了Numpy版本1.7.1的文件夹 导入系统路径['''/usr/lib/python2.7','/usr/lib/python2.7/plat-x86_64-linux-gnu','/usr/li
我的工作应该使用并行技术,我是python的新用户。因此,我想知道您是否可以分享一些关于python和模块的资料。这两者有什么区别?
React引入了新的静态方法,它在每个呈现方法之前都会被调用,但为什么呢?在prop change之后调用它对我来说是有意义的,但是在之后调用它就没有意义了,也许我错过了什么。 我根据公司的要求创建了一个组件,在组件中日期是从道具控制的。我在组件中有以下状态。 是的,我在中创建了一个额外的变量来跟踪是否由于而被调用,但我认为这不是正确的方法。 或者是我做错了什么或者遗漏了什么,或者不应该在之后调用
我有一个数组,我需要从它的名字移除一个元素。当我输入一个想要删除的杂志名称时,控制台会调用一个输入行,我在里面放什么并不重要,我甚至可以按下一个即时回车键。