停止群集后，无法在Google Cloud Dataproc群集上重新打开Jupyter笔记本电脑

Question

我使用Google Cloud Dataproc运行Jupyter笔记本（按照以下说明：https://cloud.google.com/dataproc/docs/tutorials/jupyter-notebook).

我运行了一个笔记本，保存了它，然后在稍后的某个时候，停止了集群（使用图形用户界面）。然后后来我重新启动集群，并试图运行Jupyter笔记本再次与相同的说明，但在最后一步，当我试图打开Jupyter在Chrome我得到：

"This site can't be reached. The webpage at http://<my-cluster-name>:8123/ might be temporarily down or it may have moved permanently to a new web address. ERR_SOCKS_CONNECTION_FAILED." 

此外（我不知道这是否有帮助）在我配置浏览器的终端窗口中，我有一条消息：

ERROR:child_thread_impl.cc(762)] Request for unknown Channel-associated interface: ui::mojom::GpuMain  
Google Chrome[695:8548] NSWindow warning: adding an unknown subview: <FullSizeContentView: 0x7fdfd3e291e0>. Break on NSLog to debug.  
Google Chrome[695:8548] Call stack:
(
"+callStackSymbols disabled for performance reasons"
)

在通过ssh连接到集群的终端窗口中，我有以下消息：

channel 3: open failed: connect failed: Connection refused  
channel 4: open failed: connect failed: Connection refused  
channel 5: open failed: connect failed: Connection refused    
channel 6: open failed: connect failed: Connection refused   
channel 12: open failed: connect failed: Connection refused   
channel 12: open failed: administratively prohibited: open failed  
channel 13: open failed: administratively prohibited: open failed  
channel 14: open failed: administratively prohibited: open failed  
channel 14: open failed: connect failed: Connection refused  
channel 8: open failed: connect failed: Connection refused  

此外，在我停止集群之前，我可以关闭jupyter笔记本，断开与集群的连接，并重新打开jupyter笔记本。我只是在停止集群后才遇到这个问题。知道会发生什么吗？

Answer 1

我通过使用ssh连接到主机修复了这个问题，并创建了一个systemd服务（遵循dennis Hou的上述评论）。

>

[Unit]
Description=Start Jupyter Notebook Server at reboot

[Service]
Type=simple
ExecStart=/opt/conda/bin/jupyter notebook --allow-root  --no-browser

[Install]
WantedBy=multi-user.target

System ctl守护程序-重装

下一步是将上述代码包含到dataproc初始化操作中。希望有帮助。

Answer 2

这是因为当前的初始化操作显式启动jupyter笔记本服务调用launch-jupyter-kernel.sh.初始化操作与GCE启动脚本不同，因为它们不会在启动时重新运行；通常的意图是初始化操作不需要幂等，而是如果他们想在启动时重新启动，需要添加一些init. d/system d配置来显式地这样做。

对于一次性情况，您只需SSH连接到主机，然后执行以下操作：

sudo su
source /etc/profile.d/conda.sh
nohup jupyter notebook --allow-root --no-browser >> /var/log/jupyter_notebook.log 2>&1 &

如果您希望这在启动时自动发生，您可以尝试通过GCE元数据将其放在启动脚本中，尽管如果您在集群创建时这样做，您需要确保它不会与Dataproc初始化操作冲突（此外，启动脚本可能会在dataproc初始化操作之前运行，因此您可能只想允许第一次尝试静静地失败）。

从长远来看，我们应该更新初始化操作，将条目添加到init. d/system d中，以便init操作本身在重新启动时配置自动重启。目前还没有人致力于此，但是如果你或你认识的任何人能够胜任这项任务，贡献总是很受欢迎的；我提交了https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/issues/108来跟踪这个功能。