数据库中的文件Snapshot.scala什么？

Question

我正在数据库集群上运行一些流查询作业，当我查看集群/作业日志时，我看到很多

首先在Snapshot.scala:1

和

TransactionalWriteEdge.scala:130处的NewExecutionId

快速搜索得到了这个scala脚本https://github.com/delta-io/delta/blob/master/src/main/scala/org/apache/spark/sql/delta/Snapshot.scala有人能用外行的术语解释这是怎么回事吗？

Answer 1

在内部，这个类管理存储在检查点或增量文件中的操作的回放

通常，这种“快照”依赖于增量编码，并间接允许快照隔离。

实际上，delta编码会记住自上一个检查点以来执行的每一个副作用操作，如INSERT DELETE UPDATE。对于delta lake，它将是＜code＞SingleAction＜/code＞（源）：AddFile（插入）RemoveFile（删除）。从概念上讲，这种方法接近于事件源——如果没有它，您将不得不在每次更新时存储/广播整个状态（数据库或目录）。它也被许多具有复制功能的经典ACID数据库所采用。

总的来说，它给你:

< li >能够连续复制文件系统/目录/数据库状态(请参见SnapshotManagement.update)。基本上这就是为什么你在Snapshot.scala:1中看到很多< code > first -它被调用是为了在每次启动事务时赶上日志，参见DeltaLog.startTransaction。我找不到< code > TransactionalWriteEdge 源代码，但我猜它是在同一时间被调用的。 < li >能够通过重放自上次快照以来的每个操作来恢复状态。 < li >能够隔离(和存储)事务，方法是在提交之前将它们的快照分开(每个< code>SingleAction都有txn以便隔离)。Delta-lake为此使用乐观锁定:如果事务日志不可合并，事务提交将失败，而读者看不到未提交的操作。

附言。您可以看到日志在val deltaData=load（files）行被访问，并且操作堆叠在previousSnapshot之上（val checkpoint Data=previousSnapshot.getOrElse（emptyActions）；val allActions=checkpointData.union（deltaData））