当前位置: 首页 > 知识库问答 >
问题:

spark-cassnadra连接器问题

任飞鸣
2023-03-14

现在我已经在本地安装了cassndra,并从https://spark-packages.org/package/datastax/spark-cassandra-connector下载了spark-cassandra-connector2.10-1.6.2.jar

如果我下载了错误版本的连接器或有其他问题,有人可以帮助我吗?

共有1个答案

方长卿
2023-03-14

只需将:放在spark-cassandra-connector1.6.2之间,而不是_,并删除connector版本后面的字符...

spark-shell --packages datastax:spark-cassandra-connector:1.6.2-s_2.10

但是最好使用1.6.x的最新版本:1.6.11,而不是1.6.2

 类似资料:
  • **dataframe2:从另一个来源获得的键的Dataframe(这些键是上表中ID列的分区键)-此表中不同键的数量约为0.15万** 现在,此代码总是导致“com.datastax.oss.driver.api.core.servererrors.ReadFailureException:在一致性LOCAL_ONE读取查询期间Cassandra失败(需要1个响应,但只有0个副本响应,1个失败)

  • 注意,这里是每个cassandra分区的限制,而不是每个spark分区的限制(连接器中现有的限制函数支持这一点)。 spark 2.0.1,连接器-2.0.0-M3

  • 场景与经典的流连接略有不同 交易流: transTS, userid, productid,... streamB:创建的新产品流:productid、productname、createTS等) 我想加入与产品的交易,但我找不到水印/加入条件的组合来实现这一点。 结果为空。 我做错了什么?

  • 我面临一个问题,如果更改MySQL连接器Jar版本,我会遇到某些错误。我的代码在JBoss4.0.4.ga版上运行良好。然后我用连接器jar版本mysql-connector-java-5.1.36-bin将JBoss升级到Wildfly,并且没有对运行良好的代码做任何更改。现在,每当我添加一些新行,我就会得到一个错误,说生成的密钥没有被请求。 之前我认为这可能是因为服务器(JBoss)升级的问题

  • 同时试图保存一个大字符串到卡桑德拉!谁能帮我弄清楚这个问题: 是什么导致了这个错误以及如何删除它,我的用例是在Cassandra中保存一个非常大的字符串!