Azure数据工厂-按日期筛选Mongodb源数据集

Question

这种情况非常简单，如ADFv2文档和示例中所述，我已经创建了一个复制管道来从MongoDB集合中获取数据，并将其写入AzureSQL数据库。

已成功传输完整采集数据，并且所有映射都已正确设置。当我试图过滤源数据集以仅从MongoDB获取最后n天时，问题就开始了。我尝试了几个查询，并与MongoDB Compass进行了交叉检查，以确定它们是否真的在执行Mongo-side，事实就是这样。归结起来就是这个过滤查询：

{“CacheTime”：{$gt:new Date（ISODate（）.getTime（）-1000*60*60*24*5）}

在MongoDB上成功执行，但在ADF上失败，错误：

属性值{"CacheTime"：{$gt： new Date（ISODate（）. getTime（）-1000*60*60*24*5)}}无效...活动ID： xxxxx

所以我尝试使用ADF动态内容以ISODate格式设置当前日期，并将整个过滤器作为字符串传递：

@concat（“{”CacheTime:“{$gt:ISODate（“”，formatDateTime（utcnow（），'yyyy-MM-ddThh:MM:ssZ'），“”）}”）

这一个失败了，有一个类似的错误：

属性值“{“CacheTime”：{$gt:new Date（ISODate（“2019-11-15T10:45:16Z”）-1000*60*60*24*2）}无效。活动编号：xxxxx

属性值本身（{“CacheTime”：{$gt:new Date（ISODate（“2019-11-15T10:45:16Z”）-1000*60*60*24*2）}）在MongoDB上执行得很好。我找不到它在ADF上不起作用的原因。如果这与支持的MongoDB版本有关，请查看MongoDB文档。我的MongoDB版本是4.0，但我查询中的函数是简单的日期函数，所以我相信过滤查询不会失败。

有没有人成功地通过了MongoDB的日期查询过滤器并幸存下来？

Answer 1

试试这个。

{“CacheTime”：{$gt:ISODate（@{adddays（utcnow（），-5）}”）}