如何用scala火花从Blob存储中读取文件
val test = "resources/test.csv"
val trainInput = spark.read
.option("header", "true")
.option("inferSchema", "true")
.format("com.databricks.spark.csv")
.load(train)
.cache
val test = "wasb:///tmp/MachineLearningScala/test.csv"
共有1个答案
如果使用sbt，请将此依赖项添加到built.sbt
"org.apache.hadoop" % "hadoop-azure" % "2.7.3"
对于maven，将依赖项添加为
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-azure</artifactId>
<version>2.7.0</version>
</dependency>
要从blob存储中读取文件，您需要定义底层Hadoop配置中要使用的文件系统。
spark.sparkContext.hadoopConfiguration.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem")
spark.sparkContext.hadoopConfiguration.set("fs.azure.account.key.yourAccount.blob.core.windows.net", "yourKey ")
val path = "wasb[s]://BlobStorageContainer@yourUser.blob.core.windows.net"
val dataframe = spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv(path + "/tmp/MachineLearningScala/test.csv")
-
我正在运行以下scala代码： 我知道firstStruct是structType，StructFields的一个名称是“name”，但在尝试强制转换时似乎失败了。我被告知spark/hive结构与scala不同，但为了使用structType，我需要 所以我想他们应该是同一种类型的。 我看了看这里：https://github.com/apache/spark/blob/master/sql/c
-
我有一个map-reduce作业，并且reducer获得一个驻留在Azure Blob存储中的文件的绝对地址，并且reducer应该打开它并读取它的内容。在配置Hadoop集群（HDInsight）时，我添加了包含文件的存储帐户。因此，还原器必须有权访问这个Blob存储，但Blob存储不是我的作业的默认HDFS存储。我的reducer中有以下代码，但它给了我一个FileNotFound错误消息。
-
我的应用程序见解中有一个“持续导出”过程，该过程基于我的新见解创建新文件。 除此之外，我有一个过程，使用Azure数据工厂，用Blob存储数据加载一个SQL表。 问题是：我不能从ADF读取数据，只能从Blob存储中读取新文件，而且我总是在处理相同的数据。此时，我忽略了SQL存储过程中加载过程后的重复数据，但我想通过只从Blob存储中读取新数据来提高这个过程的效率，我可以从ADF读取新数据吗？有人能
-
在spark streaming中，流数据将由在worker上运行的接收器接收。数据将被周期性地推入数据块中，接收者将向驱动程序发送receivedBlockInfo。我想知道这会引发流将块分发到集群吗？（换句话说，它会使用分发存储策略吗）。如果它不在集群中分发数据，如何保证工作负载平衡？（我们有一个10s节点的集群，但只有几个接收器）
-
问题内容： 我需要在存储过程中读入由SSIS包创建的日志文件。 有什么好方法吗？ 我尝试使用此代码，但将文件内容显示为乱码。有没有解决的编码问题？有没有更简单的方法？ 问题答案： 您是否尝试过将笔直插入？例如：
-
我正在保存一个excel文件到设备（Android7）的存储，现在我想当用户点击按钮时打开excel文件，但现在当按钮点击应用程序会崩溃，而当im到我的存储和im打开文件直接在我的应用程序之外没有问题！！如果我的代码行错了，请帮忙，谢谢 日志：Android.os.FileUriExposedException：file：///storage/emulated/0/MessangerApp/Mes