暂停Dataproc群集-Google计算引擎

Question

有没有一种方法可以暂停Dataproc群集，这样当我不积极运行火花外壳或火花提交作业时就不会收到账单？此链接处的群集管理说明：https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/clusters/

仅演示如何销毁群集，但我安装了spark cassandra连接器API。这是我创建每次都需要安装的映像的唯一选择吗？

Answer 1

一般来说，最好的做法是将用于自定义群集的步骤提炼到一些安装脚本中，然后使用Dataproc的初始化操作来轻松地在群集部署期间自动执行安装。

通过这种方式，如果您希望在多个并发Dataproc群集上执行相同的设置，或希望更改机器类型，或接收Dataproc偶尔发布的次小版本错误修复，则可以轻松地再现自定义，而不需要手动参与。

目前确实没有官方支持的暂停Dataproc集群的方法，很大程度上仅仅是因为能够进行可复制的集群部署以及下面列出的其他几个考虑因素意味着99%的时候最好使用初始化-操作定制而不是暂停就地集群。也就是说，可能会有短期黑客攻击，例如进入谷歌计算引擎页面，选择您想要暂停的数据处理群集的实例，然后单击“停止”而不删除它们。

计算引擎每小时费用和Dataproc的每vCPU费用仅在基础实例运行时产生，因此当您手动“停止”实例时，尽管Dataproc仍然将群集列为“运行”，但您不会产生Dataproc或计算引擎的实例小时费用，尽管有警告如果转到Dataproc群集摘要页的"VM实例"选项卡，就会看到。

然后，您应该能够从谷歌计算引擎页面单击“开始”，让集群再次运行，但重要的是要考虑以下警告：

1. 集群有时可能无法重新启动到正常状态；任何使用本地SSD的东西都无法完全停止并重新启动，但除此之外，Hadoop守护进程可能由于任何原因无法刷新磁盘上重要的内容（如果关闭不有序），甚至用户安装的设置也可能以未知方式破坏启动过程
2. 即使虚拟机被“停止”，它们也依赖于剩余的底层持久磁盘，因此即使在“暂停”时，您仍将继续为这些虚拟机收取费用；如果我们假设每个GB月0.04美元，每个Dataproc节点默认500GB磁盘，那么每个实例继续支付大约0.028美元/小时；一般来说，您的数据将更容易访问，而且更便宜，只需将其放在谷歌云存储中进行长期存储，而不必试图将其长期保存在Dataproc集群的HDFS上
3. 如果您过于依赖手动群集设置，那么如果您需要调整群集大小、更改机器类型或更改区域等，则重新设置会变得更加困难。与Dataproc的初始化操作相比，您可以使用Dataproc的群集缩放功能调整群集的大小，并自动为创建的新工作进程运行初始化操作

Dataproc最近推出了停止和启动群集的功能：https://cloud.google.com/dataproc/docs/guides/dataproc-start-stop