Apache Spark+Delta Lake概念

Question

1）数据库建议使用三层（铜层、银层、金层），但推荐使用哪一层来进行机器学习？为什么？我想他们建议在金层中使用干净的数据。

2）如果我们把这三层的概念抽象出来，我们能不能把青铜层看成数据湖，银层看成数据库，金层看成数据仓库？我的意思是从功能上讲，。

3)Delta架构是一个商业术语，还是Kappa架构的演变，还是Lambda和Kappa架构的新趋势？Delta+Lambda架构与Kappa架构有何区别？

5）我曾经使用Kafka、Kinesis或Event Hub进行流式处理，我的问题是，如果我们用Delta Lake表代替这些工具，会发生什么样的问题（我已经知道一切都取决于许多事情，但我想对此有一个大致的看法）。

Answer 1

1）把它留给你的数据科学家。他们应该在silver和gold区域工作，一些更高级的数据科学家会想要回到原始数据，并分析出可能没有包含在silver/gold表中的额外信息。

2）青铜=原生格式/delta lake格式的原始数据。银色=delta lake中经过净化和清理的数据。Gold=根据业务需求通过delta lake访问或推送到数据仓库的数据。

3)Delta体系结构是lambda体系结构的一个简单版本。Delta体系结构是一个商业术语，我们将观察它在未来是否会发生变化。