Databricks读取Azure blob上次修改日期

Question

我有一个Azure Blob存储安装到我的Database ricks hdfs。有没有办法在数据库中获取Blob的最后修改日期？

这就是我阅读blob内容的方式：

val df = spark.read
  .option("header", "false")
  .option("inferSchema", "false")
  .option("delimiter", ",")
  .csv("/mnt/test/*")

Answer 1

通常，有两种方法可以读取Azure Blob上次修改的数据，如下所示。

< li >通过Azure Storage REST API或Azure Storage SDK for Java直接读取。在我研究了Azure Blob存储REST API之后，有两个REST API < code > Get Blob

这是我在Java中获取Blob的Last-Modified属性的示例代码。

import java.util.Date;

import com.microsoft.azure.storage.CloudStorageAccount;
import com.microsoft.azure.storage.StorageException;
import com.microsoft.azure.storage.blob.CloudBlob;
import com.microsoft.azure.storage.blob.CloudBlobClient;
import com.microsoft.azure.storage.blob.CloudBlobContainer;

String StorageConnectionStringTemplate = "DefaultEndpointsProtocol=https;" + 
        "DefaultEndpointsProtocol=https;" +
        "AccountName=%s;" +
        "AccountKey=%s";
String accountName = "<your storage account name for HDInsight>";
String accountKey = "<your storage account key for HDInsight>";
String containerName = "<container name for HDFS>";
String blobName = "<blob name>";
String storageConnectionString = String.format(StorageConnectionStringTemplate, accountName, accountKey);
CloudStorageAccount storageAccount = CloudStorageAccount.parse(storageConnectionString);
CloudBlobClient client = storageAccount.createCloudBlobClient();
CloudBlobContainer container = client.getContainerReference(containerName);
CloudBlob blob = container.getBlobReferenceFromServer(blobName);
Date lastModifiedDate = blob.getProperties().getLastModified();

考虑使用 Hadoop，Azure 是基于适用于 Java 的 Azure 存储 SDK 8.0.0，而不是最新版本的 10.0，因此我上面的示例代码与适用于 Java 的 Azure Blob 存储的官方教程不同。

如果要获取容器的上次修改时间属性，可以使用 REST API [获取容器属性][5] 或 Java 代码“上次修改日期日期 = 容器。.get最后更新（）。

使用Hadoop AzureJavaAPI forwasb：//协议。

import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileStatus;

Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf);
Path f = new Path("<blob path on HDFS>");
FileStatus fileStatus = hdfs.getFileStatus(f);
long lastModifiedTime = f.getModificationTime();
Date lastModifiedDate = new Date(lastModifiedTime);