dask：client.persist和client.compute之间的差异

Question

我对client.persist()和client.compute()之间的区别感到困惑，它们似乎（在某些情况下）都启动了我的计算，并且都返回异步对象，但在我的简单示例中并非如此：

在本例中

from dask.distributed import Client
from dask import delayed
client = Client()

def f(*args):
    return args

result = [delayed(f)(x) for x in range(1000)]

x1 = client.compute(result)
x2 = client.persist(result)

在这里，x1和x2是不同的，但在一个不那么简单的计算中，result也是延迟的对象的列表，使用client.persist(result)启动计算，就像使用client.compute(result)一样。

Answer 1

此处有相关的文档页面:http://distributed.readthedocs.io/en/latest/manage-computation.html#dask-collections-to-futures

正如您所说的，client.compute和client.persist都接受惰性Dask集合，并启动它们在集群上运行。他们在返回的东西上是不同的。

>

client.persist为每个dask集合返回一个副本，这些集合以前是懒散的计算，现在提交到集群上运行。这些集合的任务图现在只指向当前运行的Future对象。

因此，如果您持久化一个有100个分区的dask数据帧，那么您将返回一个有100个分区的dask数据帧，每个分区都指向当前在集群上运行的未来数据帧。

Client.Compute为每个集合返回一个Future。这个未来指的是在一个工作者上收集的单个Python对象结果。这通常用于较小的结果。

因此，如果计算一个包含100个分区的Dask.dataframe，则返回一个指向包含所有数据的单个Pandas dataframe的未来

更实用的做法是，当您的结果很大并且需要在多台计算机中传播时，我建议使用persist，而当您的结果很小并且只想在一台计算机上传播时，我建议使用compute。

在实践中，我很少使用client.compute，而是更喜欢使用persist进行中间分段，使用dask.compute下拉最终结果。

df = dd.read_csv('...')
df = df[df.name == 'alice']
df = df.persist()  # compute up to here, keep results in memory

>>> df.value.max().compute()
100

>>> df.value.min().compute()
0

无论如何，延迟对象只有一个“分区”，因此compute和Persiste更易互换。Persist会给你一个懒散的dask.delayed对象，而compute会给你一个即时的Future对象。