在jupyter笔记本中使用joblib时不显示打印输出

Question

所以我使用joblib来并行化一些代码，我注意到在jupyter笔记本中使用它时无法打印东西。

我尝试在ipython中使用相同的示例，效果非常好。

下面是一个在jupyter笔记本电脑中写入的最小（非）工作示例

from joblib import Parallel, delayed
Parallel(n_jobs=8)(delayed(print)(i) for i in range(10))

所以我得到的输出为[无，无，无，无，无，无，无，无]但没有打印任何内容。

我期望看到的（打印顺序在现实中可能是随机的）：

1
2
3
4
5
6
7
8
9
10
[None, None, None, None, None, None, None, None, None, None]

您可以在笔记本进程的日志中看到打印。但我希望打印发生在笔记本上，而不是笔记本过程的日志。

我已经打开了一个Github问题，但到目前为止关注最少。

Answer 1

在Z4 tier的git link中，scottgigante的方法在Windows中工作，但与指定的结果相反：在Jupyter笔记本中，“多处理”后端永远挂起，但默认的loky工作正常（python 3.8.5和notebook 6.1.1）：

from joblib import Parallel, delayed
import sys
def g(x):
    stream = getattr(sys, "stdout")
    print("{}".format(x), file=stream)
    stream.flush()
    return x
Parallel(n_jobs=2)(delayed(g)(x**2) for x in range(5))

executed in 91ms, finished 11:17:25 2021-05-13
[0, 1, 4, 9, 16]

一种更简单的方法是在延迟中使用标识函数：

Parallel(n_jobs=2)(delayed(lambda y:y)([np.log(x),np.sin(x)]) for x in range(5))
executed in 151ms, finished 09:34:18 2021-05-17
[[-inf, 0.0],
 [0.0, 0.8414709848078965],
 [0.6931471805599453, 0.9092974268256817],
 [1.0986122886681098, 0.1411200080598672],
 [1.3862943611198906, -0.7568024953079282]]

或者像这样使用：

Parallel(n_jobs=2)(delayed(lambda y:[np.log(y),np.sin(y)])(x) for x in range(5))
executed in 589ms, finished 09:44:57 2021-05-17
[[-inf, 0.0],
 [0.0, 0.8414709848078965],
 [0.6931471805599453, 0.9092974268256817],
 [1.0986122886681098, 0.1411200080598672],
 [1.3862943611198906, -0.7568024953079282]]

Answer 2

我认为这部分是由并行产生子工作人员的方式以及Jupyter Notebook如何为这些工作人员处理IO造成的。当在没有为backend指定值的情况下启动时，并行将默认为loky，它利用直接使用fork-exec模型来创建子进程的池化策略。

如果您从终端启动Notebook，则使用

$ jupyter-notebook

常规的stderr和stdout流似乎仍然连接到该终端，而笔记本会话将在新的浏览器窗口中启动。在笔记本中运行发布的代码片段确实会产生预期的输出，但它似乎会转到stdout，并最终出现在终端中（如问题注释所示）。这进一步支持了这样一种怀疑，即这种行为是由loky和notebook之间的交互以及notebook对子进程处理标准IO流的方式引起的。

这让我在github上进行了讨论（截至发帖前2周内活跃），笔记本的作者似乎意识到了这一点，但目前似乎没有明显的快速解决方案。

如果您不介意切换用于生成子级的并行后端，可以这样做：

from joblib import Parallel, delayed
Parallel(n_jobs=8, backend='multiprocessing')(delayed(print)(i) for i in range(10))

有了多处理后端，一切正常<代码>线程化看起来也很好。这可能不是您所希望的解决方案，但希望在笔记本作者努力寻找合适的解决方案时，这就足够了。

我会把这篇文章交叉发布到GitHub上，以防有人想补充这个答案（我不想误述任何人的意图，也不想把话塞进人们的嘴里！）。

测试环境：
MacOS-Mojave（10.14）
Python-3.7.3
pip3-19.3.1

在2种配置中测试。已确认在对后端html" target="_blank">参数同时使用多处理和线程时产生预期输出。软件包使用pip3安装。

设置1：

ipykernel                               5.1.1
ipython                                 7.5.0
jupyter                                 1.0.0
jupyter-client                          5.2.4
jupyter-console                         6.0.0
jupyter-core                            4.4.0
notebook                                5.7.8

设置2：

ipykernel                               5.1.4
ipython                                 7.12.0
jupyter                                 1.0.0
jupyter-client                          5.3.4
jupyter-console                         6.1.0
jupyter-core                            4.6.2
notebook                                6.0.3

我也成功地使用了与“Setup 2”相同的版本，但笔记本电脑的软件包版本降级到了6.0.2。

这种方法在Windows上的工作不一致。软件版本的不同组合会产生不同的结果。做最直观的事情——将所有内容升级到最新版本——并不能保证它会起作用。