当前位置: 首页 > 知识库问答 >
问题:

宇宙数据库能否以批大小从文件 Blob 或 Csv 或 Json 文件中读取数据?

逄嘉熙
2023-03-14

我目前正在研究使用cosmos db读取数据,基本上我们目前的方法是使用带有Cosmos DB SDK的.Net Core C#应用程序从文件blob或csv或json文件中读取整个数据,然后使用for循环,逐个从cosmos db中提取其信息并比较/插入/更新, 这在某种程度上感觉效率低下。

我们很好奇 cosmos DB 是否可以执行从文件 blob 或 csv 或 json 文件以及类似 SQL Server 中读取一堆数据(假设一个批大小为 5000 条记录)的能力,直接在 Cosmos DB 中执行批量插入或合并语句?基本上,目标不是对与 cosmos DB 交互的每个项逐个执行相同的操作。

我也注意到并研究了BulkExecutor,BulkUpdate看起来是一种更直接的方式,可以直接更新项目,而不用考虑它是否应该更新。例如,在我的例子中,如果我有1000个条目,只有300个条目的属性被更改,所以我只需要更新这300个条目,而不需要更新其余700个不相关的条目。基本上,我需要找到一种方法,让Cosmos DB像在集合中一样进行数据比较,而不是在循环中专注于每一项,它可以执行更新或输出一个集合,我也可以用它来进行以后的更新。

(. Net SDK)应用程序是否能够执行此操作,或者cosmos DB存储过程是否能够处理类似的工作?任何其他Azure工具也受欢迎!

共有1个答案

解念
2023-03-14

您正在寻找的是Cosmos DB批量执行器库

它被设计成批量使用数百万条记录来操作,并且非常高效。

你可以找到。NET文档

 类似资料:
  • 问题内容: 我正在读取csv并与mysql检查记录是否存在于我的表中或不在php中。 csv大约有25000条记录,当我运行我的代码时,它在2m 10s后显示“服务不可用”错误(加载:2m 10s) 在这里我添加了代码 注意:我只想列出表中不存在的记录。 请为我建议解决方案… 问题答案: 首先,您应该了解,在使用file_get_contents时,您会将整个数据字符串提取到一个变量中,该变量存储

  • 问题内容: 我正在从包含以下数据的CSV文件(xyz.CSV)中读取数据: 当我使用循环对其进行迭代时,我可以按以下代码逐行打印数据,并且仅打印column1数据。 通过上面的代码,我只能得到第一列。 如果我尝试打印line [1]或line [2],则会出现以下错误。 请建议打印列2或列3的数据。 问题答案: 这是我获得第二列和第三列的方法: 结果如下:

  • 问题内容: Hai,我是Angularjs的新手。我正在尝试从JSON文件读取数据,但是它返回了奇怪的输出。这是我的controller.js文件 这是我的services.js文件 控制台输出为 请帮忙。 问题答案: $ http.get 返回一个promise,您将返回一个包含该promise的数组。 而是这样做: 然后以这种方式使用您的工厂:

  • 我正在尝试读取Mac上pig shell上的csv文件。我所做的只是文件到变量中,然后变量。我是这样做的: 我使用的数据是从这里提供的github下载的 此文件在我的Mac上的本地安装的hdfs中可用。当我执行时,我得到一个错误: org.apache.pig.impl.logicallayer.FrontendException:错误1066:无法打开别名影片的迭代器 在org.apache.p

  • 我们计划将数据库迁移到Azure cosmos graph数据库。我们正在使用此批量导入工具。 它没有提到Json输入格式。 批量导入Azure cosmos graph db的Json格式是什么 https://github.com/Azure-Samples/azure-cosmosdb-graph-bulkexecutor-dotnet-getting-started azure 批量导入映

  • 我在从CSV文件读取数据以将值传递给请求时遇到问题。我有一个csv与3列用户id,密码和类型。当为username字段传递数据时,它采用3列的值,而不仅仅是username Jmeter version: 5.0 CSV 文件值: