如何在databricks工作区中使用python获取azure datalake存储中每个文件的最后修改时间？

Question

我正在尝试获取 azure 数据湖中存在的每个文件的上次修改时间。

dbutils.fs.ls文件

对于文件中的fi：print（fi）

输出:-FileInfo(path = ' dbfs:/mnt/blob/rule _ sheet _ recon . xlsx '，name='rule_sheet_recon.xlsx '，size=10843)

这里我无法获得文件的最后修改时间。有什么办法可以得到那笔财产吗。

我尝试下面的shell命令来查看属性，但无法将其存储在python对象中。

%sh ls-ls/dbfs/mnt/blob/

输出：-总计0

0 -rw-r--r-- 1 根根 13577 九月 20 10：50 a.txt

0-rw-r--r--1 root 10843 Sep 20 10:50b.txt

Answer 1

我们没有直接的方法来获得那些细节。但是我们是基于下面的简单python代码得到这些细节的。

示例：考虑一下，你想获取adls路径中的所有子目录和文件container_name/perver-II---你可以使用下面的代码

from pyspark.sql.functions import col
from azure.storage.blob import BlockBlobService
from datetime import datetime
import os.path

block_blob_service = BlockBlobService(account_name='account-name', account_key='account-key')
container_name ='container-firstname'
second_conatainer_name ='container-Second'
#block_blob_service.create_container(container_name)
generator = block_blob_service.list_blobs(container_name,prefix="Recovery/")
report_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')


for blob in generator:
    length = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.content_length
    last_modified = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.last_modified
    file_size = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.content_length
    line = container_name+'|'+second_conatainer_name+'|'+blob.name+'|'+ str(file_size) +'|'+str(last_modified)+'|'+str(report_time)
    print(line)

Answer 2

如果已配置 DataBricks 群集，则可以避免需要帐户密钥和存储 blob 编码等。

import time

path = spark._jvm.org.apache.hadoop.fs.Path
sc = spark.SparkContext
fs = path('abfss://[e-mail]/').getFileSystem(sc._jsc.hadoopConfiguration())

res = fs.listFiles(path('abfss://[e-mail]/your/storage/path'), True)

while res.hasNext():
  file = res.next()
  localTime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(file.getModificationTime() / 1000))
  print(f"{file.getPath()}: {localTime}")

Answer 3

我们可以使用＜code＞os＜/code＞包来获取信息。例如在pyspark中

import os

def get_filemtime(filename):
  return os.path.getmtime(filename)

您可以传递文件名的绝对路径，如dbfs：/mnt/adls/logs/ehub/app/0/2021/07/21/15/05/40.avro