GCP dataproc与presto-有没有一种方法来运行查询远程通过python使用pyhive？

Question

我试图运行查询的presto集群我有运行在dataproc-通过python（使用presto从pyhive）在我的本地机器上。但是我似乎不知道主机的网址。GCP dataproc是否允许远程访问presto集群？

我试着在Presto的网络用户界面上使用网址，但那也不起作用。我还检查了关于使用Python云客户端库的文档。也没什么帮助https://cloud.google.com/dataproc/docs/tutorials/python-library-example

from pyhive import presto

query = '''select * FROM system.runtime.nodes'''

presto_conn = presto.Connection(host={host}, port=8060, username ={user})
presto_cursor = presto_conn.cursor()
presto_cursor.execute(query)

错误

ConnectionError: HTTPConnectionPool(host='https', port=80): Max retries exceeded with url: {url}
(Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb41c0c25d0>: Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known'))

更新我能够在GCP计算上手动创建虚拟机，配置trino并设置防火墙规则和负载均衡器，以便能够访问群集。

必须检查dataproc是否允许类似配置。

Answer 1

看起来谷歌防火墙正在阻止来自外部世界的连接。

只允许从IP访问端口8060到dataproc群集。

如果您使用的是公共IP地址，这可能无法扩展，但将允许您进行开发。

将“大数据”服务暴露在整个互联网面前是一个坏主意。你可能会被黑客攻击，谷歌会关闭这项服务。

创建一个小实例（一个来自空闲层），将SSH端口公开给inernet，并使用端口转发。

您的URL不会被删除https://dataproc-cluster:8060...但是https://localhost:forwarded_port

这很容易做到，您可以在不需要时关闭bastion vm。