spark create或replace temp view会为Hive Metastore添加内存吗？

Question

我正在分析spark应用程序的内存使用情况。我们使用蜂箱和Pypark

在我们的应用程序中，我们有许多类似以下的SparkSQL查询，当运行查询时，我们的hiveta存储服务器承受很大的压力并运行内存溢出。

虽然我找不到任何额外的cache（）语句，但缓存的磁盘存储claim_temp将爆炸。只需选择数据，选择结果中有一些列，然后插入结果。（Claim_temp约为300 GB，将增长到1000 GB）

 SQL4 = """
                create temp view EX as
                select a.* from {0} a
                inner join {1} b
                on a.specialty = b.code
                where classification = 'ABCD'
                """.format(self.tables['Claims'],self.tables['taxonomy'])
  self.spark.sql(SQL4)

self.spark.sql("""insert into {0}.results_flagged
                select * from EX """.format()

创建临时视图语句是否将数据添加到Hive Metastore？

create temp view是一个配置单元SQL，它将在配置单元中被视为临时表，还是只是一个不添加任何内存的CREATEORREPLACETEMVIEW的替代品？

Answer 1

它是一个与火花会话应用程序相关联的对象，在应用程序结束时被杀死