AWS Glue与其开发endpoint之间的差异

Question

我的理解是AWS Glue中的Dev Endpoint可用于迭代开发代码，然后将其部署到Glue作业中。我发现这在开发Spark作业时特别有用，因为每次运行作业时，都需要几分钟才能在后台启动Hadoop集群。但是，在Glue中使用Python shell而不是Spark时，我看到了差异。导入pg在我使用Sagemaker JupyterLab Python笔记本创建的Dev Endpoint中不起作用，但在我使用Python shell创建作业时在AWS Glue中起作用。Glue中存在的开发endpoint中不应该存在相同的库吗？如果您不能在两个地方（开发endpoint和胶水作业）复制相同的代码，那么拥有开发endpoint有什么意义？

Answer 1

首先，Python shell作业不会在后端启动Hadooo集群，因为它不会为作业提供Spark环境。其次，由于PyGreSQL不是用纯Python编写的，因此它不能与Glue的本机环境（Glue Spark作业、Devendpoint等）一起工作。第三，pythonshell对某些内置包有额外的支持。

因此，我看不到将DevEndpoint用于Python Shell作业的意义。