当前位置: 首页 > 知识库问答 >
问题:

为spark-cassandra-connector设置Cassandra属性

丘华翰
2023-03-14

如何为Spark-Cassandra-Connector版本2.0.7设置以下属性:

  1. cassandra.pool.remote.coreConnectionsperHost
  2. Cassandra.AllowRemotedCsforLocalConsistencyLevel

本质上,我想设置它,以便应该有0个连接到我的远程dc的客户端,也应该有0个读/写。一切都应该是我正在磨合的DC本地的。

spark.cassandra.connection.local_dc设置为本地DC是否会达到相同的效果?

共有1个答案

漆雕兴平
2023-03-14

看起来这是连接器的默认行为。我在https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md#默认情况下inter-datacenter-communication-is-abrovided

 类似资料:
  • 是否可以将Spark cassandra connector Java API与Spark 2.0+一起使用? 我看到spark-cassandra-connector-java2.11的最新版本是1.6.0-M1。 有人知道连接器的Java API的未来吗? 沙伊

  • 我有一个基于Scala的应用程序,我需要把它连接到Cassandra。我发现DataStax Enterprise驱动程序在这方面非常有用,这些驱动程序有很多很酷的特性,比如用于Cassandra的内置负载平衡,这对我来说非常重要。不幸的是,Scala没有任何本地DSE驱动程序。我知道我们可以使用DSE Java驱动程序,但在这种情况下,我们失去了很多Scala的酷特性。我还发现了由Datasta

  • 我在让Spark Cassandra连接器在Scala中工作时遇到问题。 我正在使用这些版本: 斯卡拉 2.10.4 火花芯 1.0.2 卡桑德拉-节俭 2.1.0 (我安装的卡桑德拉是 v2.1.0) cassandra-clientutil 2.1.0 卡桑德拉驱动器核心 2.0.4 (推荐用于连接器? 火花-卡桑德拉-连接器 1.0.0 我可以连接并与卡桑德拉(没有火花)交谈,我可以与火花(

  • 我有一个关于这个连接器的问题。如果我的Spark集群和Cassandra集群不在同一个集群上,读取如何工作?Spark是否将整个Cassandra表带入自己的集群并将其重新排列到Spark分区中?

  • 我试图使用1.2版本中的新联接功能,但在repl中的repartitionByCassandraReplica函数出现了一个错误。 我尝试复制该网站的示例,并创建了一个cassandra表(shopping_history),其中包含几个元素:https://github.com/datastax/spark-cassandra-connector/blob/master/doc/2_loadin

  • 在我们的40个节点集群(33个spark Executors/5个节点cassandra)上,使用spark-streaming我们每分钟在cassandra表中插入大约20,000个(除其他外)(with)。我们得到的结果是: 如果我理解正确的话,执行器、和75%的时间是空闲的,并阻止阶段完成······这样的资源浪费!和性能损失。 以下是SparkContext的conf选项: