Azure Data Factory通过访问密钥连接到Blob存储

Question

我试图在Azure数据工厂中构建一个非常基本的数据流，从blob存储中提取JSON文件，对一些列执行转换，并存储在SQL数据库中。我最初使用托管标识验证存储帐户，但在尝试测试到源的连接时，我得到了以下错误：

通用域名格式。微软数据流。经纪人MissingRequiredPropertyException:account是[myStorageAccountName]的必需属性。通用域名格式。微软数据流。经纪人PropertyNotFoundException:无法从[myStorageAccountName]-RunId:xxx提取值

我还在工厂验证输出中看到以下消息：

[MyDataSetName]AzureBlobStorage不支持数据流中的SAS、MSI或服务主体身份验证。

有了这个，我假设我所需要做的就是将我的Blob存储链接服务切换到帐户密钥身份验证方法。在切换到帐户密钥身份验证并选择订阅和存储帐户后，在测试连接时，我发现以下错误：

连接失败无法连接到https://[myBlob]。斑点。果心窗户。net/：错误消息：远程服务器返回错误：（403）禁止。（错误代码：403，详细信息：此请求无权执行此操作，请求ID:xxxx），请确保提供的凭据有效。远程服务器返回错误：（403）禁止。StorageExtendedMessage=，远程服务器返回错误：（403）禁止。活动ID:xxx。

我尝试过直接从Azure中选择，也尝试过手动输入密钥，但无论哪种方式都会出现相同的错误。需要注意的一点是，存储帐户只允许访问指定的网络。我尝试连接到另一个公共存储帐户，并能够访问fine。ADF帐户具有存储帐户贡献者角色，我添加了我当前工作的IP地址，以及我在此处找到的Azure Data Factory的IP范围：https://docs.microsoft.com/en-us/azure/data-factory/azure-integration-runtime-ip-addresses

另外请注意，我目前有大约5个复制数据任务在托管身份下工作得非常好，但是我需要开始做更复杂的操作。

这似乎是一个类似的问题，因为无法在Azure Data Factory中创建链接服务，但我分配的存储帐户参与者和所有者角色应该取代回复中建议的读者角色。我也不确定海报使用的是公共存储帐户还是私人存储帐户。

提前谢谢你。

Answer 1

这就是你现在面临的问题：

从描述中我们知道这是存储的连接错误。我还将贡献者角色设置为数据工厂，但仍然得到问题。

问题来自您的存储帐户的网络和防火墙。请检查一下。

确保已添加客户端id和“受信任的Microsoft服务”异常。

看看这个文件：

https://docs.microsoft.com/en-us/azure/storage/common/storage-network-security#trusted-microsoft-services

然后，转到adf，选择以下选项：

在那之后，应该没问题。

Answer 2

在上面列出的关于集成运行时的白名单IP范围的文章的最下面，微软说：

连接到Azure存储帐户时，IP网络规则对来自与存储帐户位于同一区域的Azure集成运行时的请求没有影响。有关详细信息，请参阅本文。

我与微软就此表示支持，问题是白色列表公共IP地址不适用于同一区域内的资源，因为由于资源在同一网络上，它们使用专用IP而不是公共IP相互连接。

解决原始问题有四种选择：

• 允许从存储帐户中的防火墙和虚拟网络下的所有网络访问（显然，如果您正在存储敏感数据，这是一个问题）。我测试了这个，它是有效的。
• 创建一个新的Azure托管集成运行时，运行在不同的区域。我也测试了这个。我的ADF数据流正在东部区域运行，我创建了一个运行在东部2的运行时，它立即工作。对我来说，这里的问题是，在推动执行之前，我必须让安全部门审查这个问题，因为我们将通过公共网络发送数据，即使数据是加密的，等等，它仍然不如在同一个网络中有两个资源相互通信那么安全。
• 使用单独的活动，例如像Spark这样的HDInsight活动或SSIS包。我相信这是可行的，但是SSIS的问题是成本，因为我们必须旋转一个SSIS数据库，然后支付计算费用。您还需要在管道中执行多个活动，以便在执行前后启动和停止SSIS管道。此外，我不觉得学习Spark只是为了这个。
• 最后，我使用的解决方案是我创建了一个新连接，用数据湖第二代连接取代了Blob存储。它工作得很好。与Blob存储连接不同，根据本文，Azure数据湖存储第二代支持托管标识。一般来说，连接类型越具体，功能就越有可能满足特定需求。