不能直接从GCP数据砖上的熊猫上阅读

Question

通常在Azure/AWS上的数据块上，为了读取Azure Blob/S3上存储的文件，我会挂载bucket或Blob存储，然后执行以下操作:

如果使用火花

df = spark.read.format（'csv'）.load（'/mnt/my_bucket/my_file.csv'， header=“true”）

如果直接使用panda，请将/dbfs添加到路径：

df=pd.read_csv（'/dbfs/mnt/my_bucket/my_file.csv'）

我尝试在GCP的Databricks托管版本上做完全相同的事情，虽然我成功地挂载了我的bucket并使用Spark读取了它，但我无法直接使用Pandas进行读取，添加/dbfs不起作用，并且我没有得到这样的文件或目录:...错误

你们中有人遇到过类似的问题吗？我错过了什么吗？

当我做的时候

%sh 
ls /dbfs

虽然我可以在UI中看到dbfs浏览器和我装载的bucket和文件，但它没有返回任何内容

感谢您的帮助

Answer 1

它记录在尚未发布的功能列表中：

对本地文件系统的DBFS访问(熔丝安装)。对于DBFS访问，可以使用Databricks dbutils命令、Hadoop文件系统API(如%fs命令)和Spark读写API。如有任何疑问，请联系您的Databricks代表。

因此，在阅读Pandas之前，您需要将文件复制到本地磁盘：

dbutils.fs.cp("/mnt/my_bucket/my_file.csv", "file:/tmp/my_file.csv")
df = pd.read_csv('/tmp/my_file.csv')