AWS Glue ETL作业如何检索数据？

Question

我是使用AWS Glue的新手，我不明白ETL作业是如何收集数据的。我使用爬虫从S3存储桶中的一些文件生成我的表模式，并检查了ETL作业中的自动生成脚本，如下所示（略有修改）：

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "mydatabase", table_name = "mytablename", transformation_ctx = "datasource0")
applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("data", "string", "data", "string")], transformation_ctx = "applymapping1")
datasink2 = glueContext.write_dynamic_frame.from_options(frame = applymapping1, connection_type = "s3", connection_options = {"path": "s3://myoutputbucket"}, format = "json", transformation_ctx = "datasink2")

当我运行此作业时，它成功地从我的爬虫用于生成表模式的存储桶中获取我的数据，并按预期将数据放入我的目标s3存储桶中。

我的问题是：可以说，我在这个脚本中看不到任何地方“加载”了数据。我知道我把它指向了爬虫程序生成的表，但从这个文档：

AWS Glue中的表和数据库是AWS Glue数据目录中的对象。它们包含元数据；它们不包含来自数据存储的数据。

如果该表只包含元数据，那么ETL作业如何检索数据存储区（在我的示例中是S3 bucket）中的文件？我之所以这样问，主要是因为我想以某种方式修改ETL作业，以便在不同的存储桶中转换相同结构的文件，而无需编写新的爬虫程序，但也因为我想加强对Glue服务的一般理解。

Answer 1

如果深入了解AWS Glue数据目录。它具有驻留在数据库下的表。通过单击这些表，您可以看到元数据，该元数据显示当前表作为爬网程序运行的结果指向哪个s3文件夹。

您仍然可以通过数据目录选项添加表，手动在s3结构化文件上创建表：

并将其指向您的s3位置。

另一种方法是使用AWS-athena控制台创建指向s3位置的表。您将使用常规创建表脚本，其中位置字段保存您的s3位置。

Answer 2

需要了解的主要内容是：Glue datasource目录（DateBases和tables）始终与Athena同步，Athena是一种无服务器查询服务，可以使用标准SQL轻松分析Amazon S3中的数据。您可以从Glue控制台/Athena查询控制台创建表/数据库。

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "mydatabase", table_name = "mytablename", transformation_ctx = "datasource0")

上面这行Glue Spark代码为您使用Glue data catalog源表创建初始数据帧发挥了神奇的作用，除了元数据、模式和表属性之外，它还具有指向数据所在的数据存储（s3位置）的位置。

完成应用映射后，这部分（数据链路）代码正在将数据实际加载到目标集群/数据库中。

datasink2 = glueContext.write_dynamic_frame.from_options(frame = applymapping1, connection_type = "s3", connection_options = {"path": "s3://myoutputbucket"}, format = "json", transformation_ctx = "datasink2")