将CSV从Azure Data Lake Storage Gen 2读取到Pandas Dataframe |无数据块

Question

在过去的3个小时里，我试图将Azure Data Lake Storage Gen2（ADLS Gen2）中的CSV读入熊猫数据帧。这在Azure Blob Storage（ABS）中非常容易，但我不知道如何在ADLS Gen2中做到这一点。

到目前为止，我已经开发了以下功能：

def read_csv_from_adls_to_df(storage_account_name, storage_account_key, container_name, directory_name, file_name):
    service_client = DataLakeServiceClient(account_url=f"https://{storage_account_name}.dfs.core.windows.net", credential=storage_account_key)
    file_system_client = service_client.get_file_system_client(file_system = container_name)
    directory_client = file_system_client.get_directory_client(directory_name)
    file_client = directory_client.create_file(file_name)
    file_download = file_client.download_file()

    return None

我不知道在file_download步骤之后我应该做什么。我已经尝试了readall()和readinto()等方法，但似乎都没有用。

以下是我经常使用的将CSV从ABS读入数据帧的函数:

def read_csv_from_blob(blob_service_client, container_name, blob_name):
    blob_client = blob_service_client.get_blob_client(container=container_name, blob=blob_name)

    # Retrieve extract blob file
    blob_download = blob_client.download_blob()

    # Read blob file into DataFrame
    blob_data = io.StringIO(blob_download.content_as_text())
    df = pd.read_csv(blob_data)
    return df

PS：我不是在数据砖上这样做。我正在蟒蛇身上做这件事。

Answer 1

希望这个留档能帮到https://learn.microsoft.com/en-us/azure/architecture/data-science-process/explore-data-blob

使用lambda从s3读取文件很简单，但Azure使这项简单的任务变得复杂。此外，您可以使用Azure数据工厂。