当前位置: 首页 > 知识库问答 >
问题:

三角洲湖表的SQL视图

蒙经纶
2023-03-14

我需要在数据库中创建一个现有的三角洲湖表上的抽象。是否可以在Spark中基于Delta Lake表创建SQL Server类型的SQL视图?

共有1个答案

柳德义
2023-03-14

现在可以通过多种方式在三角洲湖上创建SQL视图。

  • 通过Spark:

创建或替换视图sqlView为SELECT col1,..,coln FROM delta_table

    null
ADD JAR /path/to/delta-core-shaded-assembly_2.11-0.1.0.jar;
ADD JAR /path/to/hive-delta_2.11-0.1.0.jar;
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
CREATE EXTERNAL TABLE deltaTable(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/delta/table/path'
    null
 类似资料:
  • 我是火花三角洲湖的新手。我正在创建三角洲表顶部的配置单元表。我有必要的jars delta-core-shaded-assembly2.11-0.1.0.jar,hive-delta2.11-0.1.0.jar;在配置单元类路径中。设置以下属性。 但是在创建表时 两个表的架构匹配。堆栈详细信息:Spark:2.4.4Hive:1.2.1 任何帮助都是非常感谢的。提前谢了。

  • 我正在使用Azure数据块,并在ADLS Gen2上创建了一个delta表。 我已经创建了4个版本的三角洲湖。 我试图用下面的命令恢复到版本2。 有人能告诉我为什么我不能恢复到旧版本吗?现在发生如下错误。

  • 我正在建立一个Azure Databricks delta-lake,并且正在努力将我的json数据加载到delta-lake中。json中有100多种不同的文件格式。全部储存在数据湖中。 现在,我试图避免编写100个不同的python笔记本,而是构建一个元数据驱动的笔记本,它应该能够处理所有不同的json格式。 我能够得到进入三角洲湖的第一批数据,到目前为止一切顺利。问题是当我加载到特定delt

  • 我正在使用开源版本将大量数据写入Databricks Delta lake,该版本在AWS EMR上运行,S3作为存储层。我正在使用EMRFS。 为了提高性能,我每隔一段时间就会压缩和清空表: 我已经阅读了这篇文章火花:作业之间的长延迟,这似乎表明它可能与镶木地板有关?但是我在增量端没有看到任何选项来调整任何参数。

  • 问题内容: 我有一张表给朋友们 如何为给定玩家创建一个包含那些熟人(彼此了解)的视图? 谢谢你。 问题答案: 这是所需的选择:

  • 问题内容: 我有一个不支持三角函数的SQLite数据库。我想按距离对桌中的一组经纬度进行排序,而不是第二对经纬度对。我熟悉用于按距离对经纬度对进行排序的标准Haversine距离公式。 在这种情况下,我并不特别在意精度,因为我的点之间相隔很远,所以我不介意通过将曲线视为直线来舍入距离。 我的问题是,这种查询是否有公认的公式?记住没有触发功能! 问题答案: 如果您的点彼此之间的距离在合理范围内(即,