有没有办法在IPython笔记本中同时运行多个单元格？

Question

我笔记本中的一个单元执行很长时间，而机器中的另一个CPU处于空闲状态。是否可以并行运行其他单元？

Answer 1

我想介绍一个具有此功能的库，它不需要多个笔记本等。。。

Parsl是Python中高效的并行编程语言

配置

import parsl
from parsl.app.app import python_app, bash_app
parsl.load()

作为一个例子，我从parsl/parsl-教程中编辑了这个片段。

# App that generates a random number after a delay
@python_app
def generate(limit,delay):
    from random import randint
    import time
    time.sleep(delay)
    return randint(1,limit)

# Generate 5 random numbers between 1 and 10
import time
st = time.time()
rand_nums = []
for i in range(5):
    rand_nums.append(generate(10, 1))

# Wait for all apps to finish and collect the results
outputs = [i.result() for i in rand_nums]
et = time.time()
print(f"Execution time: {et - st:.2f}")

# Print results
print(outputs)

结果:

Execution time: 3.00
[1, 6, 4, 8, 3]

请注意，代码执行所需的时间是3秒而不是5秒。

因此，您可以调用函数（在本例中是generate（…） ）在单元格中。此生成（…） 将返回一个对象。然后，如果调用。result（）在对象上，它将：

1. 如果程序正在等待结果，请停止程序
2. 如果已完成，则返回结果

因此，只要调用。result（）在最后几个单元格中，子例程将在后台运行。你可以确定，在最后几个单元格中，结果是可以得到的。

关于数据依赖，parsl非常聪明，它将等待依赖的数据，即使它用@python_app修饰。

Answer 2

这并不能直接回答你的问题，但我认为这会帮助很多有同样问题的人。您可以轻松地在笔记本之间移动变量，然后在另一个笔记本上继续运行函数，然后将结果移回主笔记本。

例如：

笔记本1：

%store X
%store y

笔记本2：

%store -r X
%store -r y

new_df = ...
%store new_df

笔记本1：

%store -r new_df 

Answer 3

是的。这里是留档的IPython并行（以前的IPython并行），它将向您展示如何生成多个IPython内核。在您可以自由地跨内核分发工作之后，您可以在单元格前添加%%px0%%px1...%%px999（一旦设置），以在特定引擎上执行单元格，实际上对应于单元格的并行执行。我建议你也去看看Dask