有人能解释一下MS Azure中数据库中数据阶段的开始到结束的顺序吗？

Question

我正在MS azure中学习Databricks，并已获得完成任务的4个步骤：

1. 将csv文件（自己识别相关数据集）上载到dbfs
2. 对数据集执行一些基本的转换活动
3. 最后将输出保存到数据块的Delta表中
4. 一旦创建了delta表，就可以在databricks中实现单元测试（对于某些测试用例，比如count列分析，pytest可以用于任何其他模块）

我完成了第一步，但在第二步中，我被告知创建一个数据帧，并通过增量表执行sql活动，而我对此并不知情。有人能分享一下在处理数据块时需要做的事情的顺序吗

Answer 1

将csv加载到数据帧中

df =( spark.read.format('csv')
      .option("header","true")
      .load('dbfs:/path_to_csv/filename.csv')
    )

从那里，您可以将其保存到一个增量表中:

df.write.format("delta").save("/mnt/delta/filename")
spark.sql("CREATE TABLE delta_table_name USING DELTA LOCATION '/mnt/delta/filename/'")

并使用一些SparkSQL来查询和分析数据：

# In Python
df = spark.table("delta_table_name")
display(df.groupBy('some_column')
          .count()
          .orderBy('count', ascending=False))

或者可以使用SQL查询

%sql
SELECT * FROM delta_table_name