如何使用数据工厂将数据从Azure Blob存储增量加载到Azure SQL数据库？
我有一个 json 文件存储在 Azure Blob 存储中，并且已使用数据工厂将其加载到 Azure SQL 数据库中。现在我想找到一种方法，以便仅将文件的新记录加载到我的数据库（因为文件每周左右更新一次）。有没有办法做到这一点？
谢谢！
共有2个答案
我建议你使用数据流活动。
在数据流活动中，您可以选择更改行，如下图所示。
在Alter行中，如果条件，可以使用Upsert。
这里提到条件为1==1
可以使用已经在Azure Data Factory中实现的upsert(渐变维度类型1)。它将添加新记录并更新已更改的旧记录。
这里有一个快速教程：https://www.youtube.com/watch?v=MzHWZ5_KMYo
-
如何将 avro 文件从 Blob 存储加载到 Azure 数据工厂 移动数据流？我正在尝试加载，但无法导入架构和预览。我在 Blob 中的 avro 文件是事件中心捕获函数的结果。我必须使用 Azure 数据工厂的移动数据流将数据从 Azure blob 移动到 Azure sql db。
-
我正在尝试使用 azure databricks scala 将数据从 blob 存储加载到 SQL 数据仓库中。 我收到这个错误 潜在的SQLException：-com.microsoft.sqlserver.jdbc.SQLServerException：由于内部错误，外部文件访问失败：“访问HDFS时发生错误：Java调用HdfsBridge_IsDirExist时引发的异常。Java异常
-
我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业
-
我对Hadoop（HDFS和Hbase）和Hadoop生态系统(Hive、Pig、Impala等）相当陌生。我已经很好地理解了Hadoop组件，如NamedNode、DataNode、Job Tracker、Task Tracker，以及它们如何协同工作以高效的方式存储数据。 null
-
环境-MS Azure|源-Azure Blob容器（多个CSV文件保存在一个文件夹中）。|目标-AzureSQL数据库。 我的 Blob 容器每天会收到多个 CSV 文件。我想将所有这些 CSV 文件数据加载到 Azure SQL 数据库。如果源数据与目标匹配，则应更新它，否则应插入它。将数据加载到 Azure SQL 数据库中后，必须将 CSV 文件存档在 Blob 的不同目录中。我已经在 A
-
问题内容： 我想知道是否有人对我即将从事的工作有任何经验。我有几个csv文件，它们的大小都在一个GB左右，我需要将它们加载到oracle数据库中。虽然加载后我的大部分工作都是只读的，但我仍需要不时加载更新。基本上，我只需要一个很好的工具即可一次将多行数据加载到数据库中。 到目前为止，这是我发现的内容： 我可以使用SQL Loader来完成很多工作 我可以使用批量插入命令 某种批量插入。 以某种方式