无法从azure databricks读取文件
我正在运行此命令以从普通群集（未安装hadoop）中读取 Azure 数据砖中的数据。
spark-submit --packages io.delta:delta-core_2.12:0.7.0 \
--conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog" \
--conf "spark.delta.logStore.class=org.apache.spark.sql.delta.storage.HDFSLogStore" \
Test_write_to_DL.py
我得到了这个错误
: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2595)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3269)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
at org.apache.spark.sql.delta.DeltaTableUtils$.findDeltaTableRoot(DeltaTable.scala:163)
at org.apache.spark.sql.delta.sources.DeltaDataSource$.parsePathIdentifier(DeltaDataSource.scala:259)
你能建议我需要安装什么样的jar来让它工作吗
共有1个答案
有关详细信息，请参阅Delta文档：
- 首先，您需要使用
组织.apache.spark.sql.sql.delta.storage.AzureLogStore，而不是组织 - 您需要将
hadoop-azure包（maven 坐标）包含在--包中 - 您还需要提供凭据等。
-
问题内容： 我在做一些真正愚蠢的事情时遇到了一个大问题。也就是说，打开流到我的META-INF文件夹中的资源文件。我正在使用jar工具并执行以下操作： 我只是一个空！该项目是使用maven构建的，xsd文件最终位于META-INF文件夹中，但仍然无法使用。 我不理解的是背后的理论？ClassLoader如何在文件系统中执行查找？如何获得文件？ 问题答案： 尝试删除第一个斜杠： 如果要在对象上调用方
-
我正在尝试从com包中的CSV文件中读取值。实例但当我使用以下语法运行代码时： 上面写着： java.io.FileNotFoundException： Dataset.csv 我也尝试过使用： 仍然不工作。任何帮助都会很有帮助。谢谢
-
我有一个3节点的Apache Ignite集群，我创建了一个以整数为键的缓存，以'subscriber'POJO为值，当我从JAVA程序内部连接到集群并访问缓存时，我得到了上面提到的异常，我有'peerClassLoading'属性设置为false，并且我在所有节点中部署了'subscriber'POJO二进制文件，请在下面找到完整的堆栈跟踪。我错过了什么？当我在JAVA程序中用启动客户端时，它为
-
我很难弄清楚这个问题，我几乎什么都试过了。 我希望我的程序从Jar文件中读取两个资源，并且它将在eclipse中运行良好。但是当我从命令提示符运行jar时，它会给出空指针异常。 结构： src/main/java/App。JAVA src/main/resources/properties/application。属性 src/main/resources/spring/applicationCo
-
问题内容： 我想读取.bak文件，这些文件是ms sql数据库的备份文件。现在，我正在研究如何使用Sql Mngmnt studio读取这些文件。请帮帮我。谢谢 问题答案： 您可以使用SQL Management Studio将.BAK文件还原到临时数据库并读取它们！ 这里的一些指针
-
我有一个问题做npm启动，这似乎是一个bug与css-loader但我不能修复它。 我读过这篇文章，但我不能让它工作：https://github.com/reactjsresources/react-webpack-babel/issues/197 我还修改了webpack.config.js，添加了: 和： 如果有人能帮忙请... 谢谢.