如何使用 azure cosmos db 最大化 DB 上传速率

Question

这是我的问题。我试图将一个大的csv文件上传到cosmos db（~14gb），但我发现很难最大化我支付的吞吐量。在azure portal metrics overview UI上，它说当我支付16600 RU/s时，我使用73 RU/s。现在，我正在使用pymongo的批量写入函数上传到数据库，但我发现任何大于5的bulk_write长度都会抛出硬＜code＞请求速率 异常。我做错了吗？在这种情况下，是否有更有效的方法上传数据？互联网带宽可能不是问题，因为我正在从azure vm上传到cosmos db。

我现在如何上传python的结构:

for row in csv.reader:
    row[id_index_1] = convert_id_to_useful_id(row[id_index_1])

    find_criteria = {
        # find query
    }

    upsert_dict = {
        # row data
    }
    operations.append(pymongo.UpdateOne(find_criteria, upsert_dict, upsert=True))

    if len(operations) > 5:

        results = collection.bulk_write(operations)

        operations = []

如有任何建议，将不胜感激。

Answer 1

我能够提高上传速度。我注意到每个物理分区都有吞吐量限制（出于某种原因，物理分区的数量乘以每个分区的吞吐量仍然不是集合的总吞吐量），所以我所做的是按每个分区拆分数据，然后为每个分区键创建一个单独的上传过程。这将我的上传速度提高了（物理分区的#）倍。

Answer 2

我想看看Cosmos DB：数据迁移工具。我没有在MongoDB API中使用它，但它是受支持的。我已经使用它成功地将大量文档从本地机器移动到Azure，它将利用可用的RU/s。

如果您需要以编程方式执行此操作，我建议查看DB迁移工具的底层源代码。这是开源的。您可以在此处找到代码。

Answer 3

亚伦。是的，正如您在评论中所说，Azure Cosmos DB MongoDB API支持迁移工具。你可以在官方文件中找到打击声明。

数据迁移工具目前不支持Azure Cosmos DB MongoDB API作为源或目标。如果您想在Azure Cosmos DB中将数据移入或移出MongoDB API集合，请参考Azure Cosmos DB:How to migrate data for the MongoDB API以获取说明。您仍然可以使用数据迁移工具将数据从MongoDB导出到Azure Cosmos DB SQL API集合，以便与SQL API一起使用。

我只是为您提供了一个可以使用Azure数据工厂的解决方法。请参考此文档以使cosmos db成为sink.And参考此文档以使Azure Blob存储中的csv文件成为管道source.In，您可以配置批处理大小。

当然，您可以通过编程来实现这一点。你没有错过什么，错误< code >请求速率很大只是意味着你已经超过了所提供的RUs配额。您可以提高RUs设置的值。请参考这份文件。

如果有任何问题，请随时告诉我。