从AWS胶合作业中引用配置单元视图

Question

我试图弄清楚如何将一个用例从EMR迁移到涉及蜂巢视图的AWS胶水。

在今天的EMR中，我有S3中Parquet支持的配置单元外部表，还有其他视图，如create view hive_view作为select col from external_table where col=x

然后在EMR上的Spark中，我可以发出类似df=Spark.sql（“select*from hive_view”）这样的语句来引用我的配置单元视图。

我知道我可以使用Glue目录作为Hive转移的替代，但我正在尝试将Spark工作本身从EMR迁移到Glue。所以在我的end状态下，不再有Hiveendpoint，只有Glue。

问题：

如何在胶水作业中引用这些视图？

到目前为止我所尝试的：使用boto3调用glue.create_table如下所示

glue = boto3.client('glue')
glue.create_table(DatabaseName='glue_db_name', 
   TableInput = {'Name': 'hive_view', 
       'TableType': 'VIRTUAL_VIEW',
       'ViewExpandedText': 'select .... from ...'
    })

我可以看到在Glue目录中创建的对象,但分类显示为“Unknown”,作业中的引用失败,并出现相应的错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o56.getCatalogSource. : 
java.lang.Error: No classification or connection in bill_glue_poc.view_test at ...

Answer 1

您可以在Spark中创建一个临时视图，并像查询配置单元表（Scala）一样查询它：

val dataDyf = glueContext.getSourceWithFormat(
      connectionType = "s3",
      format = "parquet",
      options = JsonOptions(Map(
        "paths" -> Array("s3://bucket/external/folder")
      ))).getDynamicFrame()

// Convert DynamicFrame to Spark's DataFrame and apply filtering
val dataViewDf = dataDyf.toDF().where(...)

dataViewDf.createOrReplaceTempView("hive_view")

val df = spark.sql("select * from hive_view")