Google cloud dataproc无法使用初始化脚本创建新群集

Question

我使用下面的命令来创建数据进程集群：

gCloud dataproc集群创建informetis-dev-初始化-动作"gs：//dataproc-初始化-动作/jupyter/jupyter.sh， gs：//dataproc-初始化-动作/Cloud-sql-代理/cloud-sql-proxy.sh， gs：//dataproc-初始化-动作/hue/hue.sh， gs：//dataproc-初始化-动作/ipython-笔记本/ipython.sh， gs：//dataproc-初始化-动作/tez/tez.sh， gs：//dataproc-初始化-动作/oozie/oozie.sh， gs：//dataproc-初始化-动作/齐柏林飞艇/zeppelin.sh， gs：//dataproc-初始化-动作/用户-环境/user-environment.sh， gs：//dataproc-初始化-动作/list-一致性-缓存/shared-list-consistency-cache.sh， gs：//dataproc-初始化-动作/Kafka/kafka.sh， gs：//dataproc-初始化-动作/神经节/ganglia.sh， gs：//dataproc-初始化-动作/flink/flink.sh"-图像-版本1.1-------------------------------------------------------------------------------------------------------------------------------------------------------------------------/>=gs：//informetis-dev/hive-仓库-工人-机器类型n1-Standard-2-区域Asia-east1-b-桶信息-dev

但是Dataproc创建群集失败，失败文件中有以下错误：

Cat mysql-u hive-phive-密码-e"ERROR 2003（HY000）：无法连接到MySQL服务器上'localhost'（111）mysql-e'CREATE USER'\"hive'\"IDENTIFIED BY'\"hive-密码'\'';' 错误2003（HY000）：无法连接到MySQL服务器上'localhost'（111）

有人知道这次失败背后的原因吗？

Answer 1

在您报告时，检测到云sql代理初始化操作存在问题。很可能是这样的问题影响了你。

如今，这不应该是个问题。

Answer 2

我假设您已经用类似的东西创建了云SQL实例，对吗？

gcloud sql instances create g-test-1022 \
  --tier db-n1-standard-1 \
  --activation-policy=ALWAYS

如果是这样，那么看起来错误在于元数据参数的格式。你有这个：

--metadata "hive-metastore-instance=g-test-1022:asia-east1:db_instance”

不幸的是，这个区域看起来不完整（asia-east1而不是asia-east1-b）。

此外，在运行这么多初始化操作时，您将希望提供一个相当慷慨的初始化操作超时，这样群集就不会在您的操作需要一段时间才能安装时假设有东西失败了。您可以通过指定：

--initialization-action-timeout 30m

这将允许集群为初始化操作提供30分钟的引导时间。

Answer 3

看起来您缺少了初始化操作文档中描述的--scopes sql admin标志，这将阻止CloudSQL代理授权其进入CloudSQL实例的隧道。

此外，除了作用域之外，您还需要确保默认计算引擎服务帐户在保存CloudSQL实例的任何项目中都具有正确的项目级权限。通常，默认服务帐户是GCE项目中的项目编辑器，因此当与sql admin作用域结合使用时，该帐户应足以访问同一项目中的CloudSQL实例，但如果您正在访问单独项目中的CloudSQL实例，您还必须将该服务帐户作为项目编辑器添加到拥有CloudSQL实例的项目中。

您可以在部署Dataproc群集的项目的IAM页面下找到默认计算服务帐户的电子邮件地址，名称为“计算引擎默认服务帐户”；它应该看起来像