当前位置: 首页 > 知识库问答 >
问题:

Spark Cassandra连接器-perPartitionLimit

阳狐若
2023-03-14

注意,这里是每个cassandra分区的限制,而不是每个spark分区的限制(连接器中现有的限制函数支持这一点)。

spark 2.0.1,连接器-2.0.0-M3

共有1个答案

傅志用
2023-03-14

感谢Russs的初步答复。我使用以下方法使其工作:

首先,我们需要使用“每个分区限制”。

其次,如果您有其他where子句,则需要将其与其中一个子句组合,如下所示:

 类似资料:
  • Presto与Cassandra/ScylLadb的默认连接数是多少?如何设置此属性?谢谢

  • 我想画一个流程图。我动态创建div,并为每个div设置了唯一的“id”属性,并使用Jsplumb连接器连接它们。 我从数据库中获取源和目标id(请注意,动态创建的div的“id”属性是其从数据库中的id),并存储在“connectors”json中。其格式如下: {[from:A,to:B],[from:A,to:C],[from:B,to:C]} jsplumb代码如下 问题: 我现在拥有的是

  • 为什么是必要的,因为我们已经在Broker.xml中指定了代理服务器的->我们知道如果我们想要连接到这个服务器,要将请求发送到哪个端口(它是端口)。即使此服务器是集群的一部分,的角色是什么?文档的其他部分也有关于“集群”的信息,但有关于集群连接的词语: 集群是由每个节点在核心配置文件broker.xml中声明到其他节点的集群连接形成的。当一个节点与另一个节点形成集群连接时,它会在内部创建它与另一个

  • The Connect API allows implementing connectors that continually pull from some source data system into Kafka or push from Kafka into some sink data system. Many users of Connect won't need to use this

  • **dataframe2:从另一个来源获得的键的Dataframe(这些键是上表中ID列的分区键)-此表中不同键的数量约为0.15万** 现在,此代码总是导致“com.datastax.oss.driver.api.core.servererrors.ReadFailureException:在一致性LOCAL_ONE读取查询期间Cassandra失败(需要1个响应,但只有0个副本响应,1个失败)

  • 我有一个kafka主题,有200万条消息,我的刷新大小是100000,默认分区为分布式模式,有4个工作者,我可以看到数据在几秒钟内立即写入HDFS(10到15秒)。 我看到创建了一个+tmp目录和文件夹,并且每次触发一个新连接器时都会创建主题。 kafka connect的行为是每次都写得这么快,还是已经将数据存储在HDFS中,并根据连接器属性将其移动到主题目录? 我需要清楚这是怎么发生的。如果我