DataBricks-将更改保存回DataLake（ADLS Gen2）

Question

我将旧数据作为CSV存储在Azure DataLake Gen2存储帐户中。我可以连接到这个，并使用数据记录卡进行查询。我有一个要求，一旦某些记录的保留期到期，或者如果GDPR“被遗忘的权利”需要应用于数据，我就要删除这些记录。

使用Delta，我可以将CSV加载到Delta表中，并使用SQL查找和删除所需的行，但保存这些更改的最佳方法是什么？理想情况下，返回到原始文件，以便从原始文件中删除数据。我在创建Delta表时使用了LOCATION选项，以将生成的拼花格式文件持久化到DataLake，但最好将其保持为原始CSV格式。

任何建议不胜感激。

Answer 1

如果定期运行删除操作，则将文件保存在csv中的成本很高，因为每次读取文件并将数据帧转换为增量，然后对其进行查询，最后在过滤记录后，再次将其保存到csv并删除增量表。

所以我在这里的建议是，将csv转换为Delta一次，定期执行删除并仅在需要时生成csv。

这里的优点是-Delta内部以拼花格式存储数据，以二进制格式存储数据，并允许更好地压缩和编码/解码数据。

Answer 2

在ADF中将拼花地板转换为CSV

可以使用Azure数据工厂管道中的复制数据任务将在ADLS Gen2位置创建的版本化拼花文件转换为CSV。

因此，您可以将CSV数据读入Delta表（位置指向Data Lake文件夹），使用SQL执行所需的更改，然后使用ADF将拼花文件转换为CSV格式。

我试过这个，效果很好。唯一的障碍可能是在将CSV文件读取到增量时检测列标题。您可以将其读取到数据帧并从中创建增量表。

Answer 3

我在这里会小心的。被遗忘的权利意味着您需要删除数据。Delta实际上并没有将其从原始文件中删除（至少最初是这样）-这只会在数据清空后发生。

删除数据最安全的方法是将所有数据读取到数据框中，过滤掉不需要的记录，然后使用覆盖将其写回。这将确保删除数据并重新写入相同的结构。