如何在没有Azure数据工厂的情况下将csv文件从blob存储加载到azure sql数据库

Question

环境-MS Azure|源-Azure Blob容器（多个CSV文件保存在一个文件夹中）。|目标-AzureSQL数据库。

我的 Blob 容器每天会收到多个 CSV 文件。我想将所有这些 CSV 文件数据加载到 Azure SQL 数据库。如果源数据与目标匹配，则应更新它，否则应插入它。将数据加载到 Azure SQL 数据库中后，必须将 CSV 文件存档在 Blob 的不同目录中。我已经在 Azure 数据工厂中完成了这项工作，但现在我想在没有 Azure 数据工厂（如大容量插入方法或其他方法）的情况下工作。

有没有可能在没有Azure数据工厂的情况下完成此操作？

CSV文件数据示例:- (csv文件没有标题)

1,Peter,35        
2,John,28  
3,Tony,24

Answer 1

将csv文件从blob存储加载到azure sql数据库

请遵循以下步骤:

步骤1:创建数据库凭证并使用SAS令牌验证blob存储

CREATE DATABASE SCOPED CREDENTIAL
['https://<storage_account_name>.blob.core.windows.net/<container name>/]
   
WITH IDENTITY = 'SAS Token',
SECRET = 'sv….;

步骤2:创建外部数据源

CREATE EXTERNAL DATA SOURCE AzureStorage
WITH ( TYPE = BLOB_STORAGE,
          LOCATION = 'https://<storage_account_name>.blob.core.windows.net/',
          CREDENTIAL= ['https://<storage_account_name>.blob.core.windows.net/<container name>/]
);

Step3：BULK INSERT导入CSV文件

BULK INSERT samples.table1
FROM 'table1.csv'
WITH (DATA_SOURCE = 'AzureStorage',
    FIRSTROW = 2,
    FIELDTERMINATOR = ‘'
    ROWTERMINATOR = '\n'   
);

您可以参考Jesse的这篇文章（how-to-bok-load-data-from-azure-blob-to-azure-sql-Database）