当前位置: 首页 > 知识库问答 >
问题:

宇宙写入返回 429 错误与批量执行

壤驷华美
2023-03-14

我们有一个利用微服务方法的解决方案。我们的一个微服务负责将数据推送到 Cosmos。我们的 Cosmos 数据库正在使用无服务器预配,其限制为 5,000 RU/s。

我们插入到Cosmos中的数据如下所示。有10列,我们正在推送一个包含5,807行数据的批处理。

我们从多个来源检索数据,将其规范化,并作为一个批量执行发送给Cosmos。检索过程每小时都会发生。我们知道,我们每小时向Cosmos数据库发送一次已经检索到的数据,然后在下一个检索周期之前停止发送数据。那么,如果这个高峰是问题所在,那么对于这种情况有什么补救措施呢?

任何人都可以阐明我们应该/需要做些什么来克服这个问题吗?也许我们在创建 Cosmos 数据库时缺少一个设置,或者这可能与分区有关?

共有1个答案

罗心思
2023-03-14

您可以通过查看Azure门户中发布的指标来确定这些情况。本文档是在Azure Cosmos DB中启动、监控和调试洞察的好地方。

特别是,我将查看标题为“通过分区键范围确定吞吐量消耗”的部分

如果您没有处理热分区键,则可能需要查看限制写入的选项。这可能包括修改批大小和将写入操作放在一段时间内。使用一秒钟计时器循环,直到消耗的 RU/秒等于 5000 RU/s。您还可以考虑执行基于队列的负载均衡,并将写入操作放在 Cosmos 前面的队列中,然后将它们流式传输进来。

 类似资料:
  • 我们计划将数据库迁移到Azure cosmos graph数据库。我们正在使用此批量导入工具。 它没有提到Json输入格式。 批量导入Azure cosmos graph db的Json格式是什么 https://github.com/Azure-Samples/azure-cosmosdb-graph-bulkexecutor-dotnet-getting-started azure 批量导入映

  • 我正在尝试处理我用tesseract录制的黑板图像,但运气不好。我想过做预处理来帮助提高我们的结果,但不确定该用什么方法来调用它。 这是我拥有的图像: 下面是我正在运行的< code>tesseract命令: 请注意,它不必正确处理所有数学符号,但至少要得到,也许。 我以前有一张照片,只用这些命令就能很好地工作。照片如下: 下面是它会产生的结果: 这并不完美,但比我以前得到的要好得多。如何提高新黑

  • 我已经按照较新的SDK的建议实现了批量删除。创建了要删除每个项目的任务列表,然后等待所有任务。我的 CosmosClient 配置了 BulkOperations = true。据我所知,这意味着在引擎盖下,新的SDK发挥了魔力并执行批量操作。 不幸的是,我遇到了429响应状态。这意味着我的多个请求达到了请求速率限制(它很低,仅限于开发层,但不限于此)。我想知道,一个批量操作怎么会导致429错误。

  • 60min,算法我用穷举做的,不会动归,面试官面露难色😂😂面试官人很好,我忘了可能导致ThreadLocal内存泄露的原因,面试官会尝试引导我去理解和推断。 项目 用过哪些分布式组件,介绍功能以及怎么用的 介绍了解过的限流算法并做比较 Sentinel怎么实现熔断与降级的 比较Synchronized与Lock,并介绍他们的粒度 线程池参数 ThreadLocal实现机制与内存泄露问题 可达性

  • 所以我有一个sub-reddits列表,我用urllib打开它们。在我仔细研究之后,urllib最终失败了: 做了一些研究,我发现reddit通过IP限制了对其服务器的请求数量: 每两秒钟不要提出超过一个请求。请求的突发有一定的空间,但要保持理智。一般来说,一分钟内不要超过30个请求。 所以我想我应该使用将我的请求限制在每10秒一页。这最终也失败了。 上面的引用是从reddit API页面获取的。

  • 群友内设 40分钟 1.聊项目 项目hook 路由 useContext优化 2.vite和webpack打包的区别 3.最近在怎么样学前端 3.setState之后做了什么 说源码,调度器和更新队列 4.说一说函数执行上下文 this 5.说说es6有啥 6.小程序的底层架构 简历上写了但是很久没些小程序,结果他们心识最近就是在做小程序 没什么好说的,问的比较随意,因为是内设而且心识缺人,快冲