使用Databricks文件系统挂载azure存储帐户时出错
我对Azure数据库甚至Spark技术都是新手。我试图使用下面的方法在HDFS上安装我的azure存储，但它给出了下面提到的错误。谁能帮我把这个修好吗？在笔记本中，我选择了Scala作为一种语言。
dbutils.fs.mount( source = "wasbs://rmwblobcontainer@rmwsa1.blob.core.windows.net/", mountPoint = "/mnt/mypath", extraConfigs = Map("fs.azure.account.key.rmwsa1.blob.core.windows.net" -> "{MX6BzXjcdIW+SJrvfocw8uFLT99Gs1aLtWBWkpQK7OyXIlctaoW1A/WQ9gBEGaxXcQ76FjEAI2hJGTiOQ6lCAA==}"))
shaded.databricks.org.apache.hadoop.fs.azure.AzureException:
java.lang.IllegalArgumentException: The String is not a valid Base64-encoded string
共有1个答案
当Azure Storage access Key中有其他值时，您将会收到此错误消息“shaded.databricks.org.apache.hadoop.fs.Azure.azureException:java.lang.IllegalArgumentException:The String不是一个有效的base64编码字符串”。
Azure存储访问键在开始和结束时包含花括号“{}”，请删除花括号并重新运行单元格。
-
我刚刚开始进行数据分析，需要使用Azure Databricks分析大量数据。在计划使用Databricks notebook进行分析时，我遇到了不同的存储选项来加载数据a）DBFS-default文件系统从Databricks b）Azure data Lake(ADLS)和c）Azure Blob storage。 在以上理解的基础上，我可以澄清以下问题吗？ 在数据库上下文中使用这些存储选项时
-
我们刚刚在资源组中创建了一个新的 Azure 数据砖资源。在同一资源组中，有一个 Azure 数据砖的旧实例。从这个旧的数据砖实例开始，我将数据存储在dbfs中的数据复制到最新的数据砖实例中。我该怎么做？我的想法是使用FS命令将数据从一个dbfs复制或移动到另一个数据库，可能是装入卷，但我不明白我该怎么做。你有什么迹象吗？ 谢谢，弗朗西斯科
-
我想要通过 databricks 从 Azure 订阅中动态获取所有存储帐户和容器。 因此，我可以遍历容器中的每个文件，并获取我之前完成的文件及其大小。 现在，我想动态地将存储帐户和容器设置为在 databricks 环境中进行处理。
-
Ceph v0.55 及后续版本默认开启了 cephx 认证。从用户空间（ FUSE ）挂载一 Ceph 文件系统前，确保客户端主机有一份 Ceph 配置副本、和具备 Ceph 元数据服务器能力的密钥环。 在客户端主机上，把监视器主机上的 Ceph 配置文件拷贝到 /etc/ceph/ 目录下。 sudo mkdir -p /etc/ceph sudo scp {user}@{server-mac
-
提纲mount.ceph monaddr1[,monaddr2,...]:/[subdir] dir [ -o options ] 描述 mount.ceph 是在 Linux 主机上挂载 Ceph 文件系统的简单助手。它只负责把监视器主机名解析为 IP 地址、从硬盘读取认证密钥，大多数实际工作由 Linux 内核客户端组件完成。事实上，无需认证的 Ceph 文件系统无需 mount.ceph 也
-
我一直在我的项目中使用基于azure定时器的功能。自从我开始使用该功能以来，我收到了与Azure存储帐户禁止访问相关的错误403。 我尝试在函数的配置中添加AzureWebJobs存储密钥我尝试添加azure存储帐户的允许ip范围的出站ip我尝试检查允许azure托管服务进入存储帐户的选项。 然而，我的函数应用程序中的特定计时器函数仍然存在错误。其他功能运行正常。 尽管如此，如果我允许存储帐户防火