当前位置: 首页 > 知识库问答 >
问题:

数据砖台真空

仲孙信瑞
2023-03-14

我正在尝试使用 VACUUM 命令从 DELTA 中删除历史数据,但它不执行任何操作

我运行了 DRYRUN 命令来显示哪些文件必须删除,但没有任何结果,但是查看增量文件夹中的 JSON 文件已经及时擦除了数据。

我运行此命令来删除数据,但没有成功,并分析JSON时间戳,它将在删除时间内。我做错了什么吗?

%sql

delta VACUUM.`/mnt/deltaTestVacuum/myTable/`

共有1个答案

家弘业
2023-03-14

您对表的内部保留期是多少?请参见: https://docs.delta.io/latest/delta-utility.html#remove-files-no-longer-referenced-by-a-delta-table

通过在表上运行真空命令,可以删除不再由Delta表引用且早于保留阈值的文件。

 类似资料:
  • 我正在开发一个平台,我有一个32x32的精灵和32x32的磁贴。我还使用了一个图块引擎,它在数组的帮助下生成地图。我使用一个< code>RectangleHelper.cs来修复与瓷砖和播放器的碰撞,到目前为止,它可以与瓷砖的顶部碰撞,也可以与瓷砖的左侧碰撞。 在第一张图中,我展示了“在顶部”碰撞工作正常。没有错误什么的。 在图2中,我展示了“碰撞左侧”,这也很棒。 但是在图3中,你可以看到这个

  • 我正在尝试使用数据砖连接在mlflow上记录经过训练的火花模型。我希望将此模型记录在数据砖注册表中。现在,我的代码如下所示: 当它运行log_model行时,执行会中断,并执行以下堆栈跟踪: 原因:java.io。IOException:方案无文件系统:路径不支持访问机制——请使用位于org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSy

  • 我现在有这个可以用的 我想添加一个条件,在这里我只会出售时,购买是虚假的如下,但它没有工作 为什么它不工作? 有什么建议吗?非常感谢。

  • 用prometheus和grafana监控服务器,发现同一时间出现多台服务器(不是所有)数据上的真空状态,而且不止是windows服务器,linux也有这种现象。请大佬指点迷津,可能是什么原因造成了这种多台真空 下面是其中一台的情况 看了其他服务器,发现有的从来没有这种真空,就排除了可能是监控业务的问题

  • 我试图使用Struts 2 我在 glassfish 服务器上上传时遇到以下错误: 部署过程中发生错误:加载应用程序时出现异常:java.lang.IllegalState异常:ContainerBase.add子级:开始:org.apache.catalina.生命周期异常:java.lang.NoClassDefFoundError: org/spingframewor /core/io/su

  • 我已经在我的容器中压缩了文件,我每天都会得到一个或多个文件,当它们进来时,我想处理这些文件。我有一些问题。 > 我可以使用Databricks自动加载功能来处理zip文件吗?Autoloader是否支持zip文件? 使用Autoloader需要启用哪些设置?我有我的容器和sas令牌。 一旦zip文件被处理(解压缩,读取zip文件中的每个文件),我就不应该再次读取zip。当我使用自动加载器时,我该怎