databricks从s3 bucket路径参数加载文件

Question

我是数据砖或火花的新手，并从数据砖中学习这个演示。我在 AWS 上设置了数据砖工作区。下面的代码来自官方演示，运行正常。但是这个csv文件在哪里？我想检查文件并了解路径参数的工作原理。

DROP TABLE IF EXISTS diamonds;

CREATE TABLE diamonds
USING csv
OPTIONS (path "/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", 
         header "true")

Answer 1

/databricks数据集是一个特殊的装载位置，由databricks所有，可在所有工作区中使用。您不能通过S3浏览器浏览它，但可以使用显示（dbutils.fs.ls（“/databricks-datasets”）），或%fs-ls/databricks-datasets，或DBFS文件浏览器（在“数据”选项卡中）来浏览其内容-请参阅有关它的单独页面。