批量插入溢出
我正在使用Cassandra 3.10，并试图通过每个查询都有一个表来遵循最佳实践，因此我使用批处理插入发音将多个表作为单个事务插入，但我在cassandra日志中出现以下错误。
[zed.payment，zed.trade_party_b_ref，zed.trade_product_type，zed.trade，zed.fx_variance_swap，zed.trade_party_a_ref，zed.trade_party_b_trade_id，zed.market_value]的批处理大小为5.926KiB，比指定的阈值5.000KiB多0.926KiB。
共有2个答案
感谢您的信息，cassandra.yaml中的参数是
batch_size_warn_threshold_in_kb： 5，以KB为单位，而不是MB，所以我的批处理语句实际上是6KB，而不是6MB。在与甲骨文合作30年后，这是我第一次涉足卡桑德拉，所以我试图遵循为每个查询设置单独表的指导方针，所以如果我有一个金融交易表，必须以多达8种不同的方式进行查询，我就有8个表。这意味着必须批量插入表中，才能在甲骨文中创建单个事务。八个主表中有大量的兄弟表，这些表也必须包含在批处理中，所以我的观点是：如果cassandra不支持事务，而是依赖批处理功能来实现相同的效果，那么它不能对批处理的大小施加限制。如果这是不可能的，那么cassandra实际上仅限于具有非常简单数据结构的应用程序。
日志显示，当限制为5MB时，您正在发送一批几乎6MB的内容。
您应该发送较小的数据批，以避免超出批大小限制。
您还可以在cassandra.yaml中更改批量限制，但我不建议更改它。
-
我正在写一个数据挖掘程序，可以批量插入用户数据。 当前SQL只是一个普通的批量插入： 如果发生冲突，如何进行更新？我试过： 但它抛出
-
问题内容： 这是我在阅读有关jpa批量插入的几个主题之后创建的简单示例，我有2个持久对象User和Site。一个用户可以拥有多个站点，因此我们在这里有一对多的关系。假设我要创建用户并将多个站点创建/链接到用户帐户。考虑到我愿意为Site对象使用批量插入，代码如下所示。 但是，当我运行此代码时（我将hibernate方式用作jpa实现提供程序），我看到以下sql输出： 所以，我的意思是“真实的”批量
-
问题内容： 我正在使用Python中的MySQLdb模块与数据库进行交互。我遇到的情况是有一个非常大的列表（成千上万个元素），需要将它们作为行插入表中。 我现在的解决方案是生成一个大的语句作为字符串并执行它。 有没有更聪明的方法？ 问题答案： 有一种更聪明的方法。 批量插入的问题在于，默认情况下启用了自动提交功能，从而导致每个语句在下一次插入可以启动之前被保存到稳定存储中。 如手册页所述： 默认情
-
问题内容： 我正在尝试将数据从此链接插入到我的SQL Server https://www.ian.com/affiliatecenter/include/V2/CityCoordinatesList.zip 我创建了表 我正在运行以下脚本来进行批量插入 但是批量插入失败，并出现以下错误 当我使用google时，我发现了几篇文章，指出问题可能出在RowTerminator上，但我尝试了诸如/ n
-
我尝试使用r2dbc执行批处理插入。 我已经看到，使用spring boot中的DatabaseClient，这还不可能实现。我尝试使用R2DBC SPI语句和and方法来实现这一点，如下所示： 我在日志上看到完成了两个插入请求。 添加是执行批更新还是只运行两个请求？ 谢谢
-
我有一个从远程源读取数据的curl脚本。以下是当前代码： 然而，脚本的工作是非常缓慢的插入，因为我想象它的写作每一个单独的记录。计数变量是每页返回多少条记录，页面变量是一个简单的页面计数器。 我想知道是否有一种方法可以执行批量插入语句，一次插入所有100条记录。 提前谢谢。