所有尝试查询的主机都失败了 - com.datastax.driver.core.OperationTimedOutException

Question

在执行Cassandra操作（批量执行-在两个表上插入和更新操作）时，我收到“所有主机都尝试查询失败-com。数据。驱动程序。核心。操作时间异常”错误。

群集信息：
卡桑德拉 2.1.8.621 |DSE 4.7.1
火花-卡桑德拉-连接器-java_2.10 版本 - 1.2.0-rc1 | 卡桑德拉驱动器核心版本 - 2.1.7
火花 1.2.1 |Hadoop 2.7.1 =

在搜索它的解决方案时，我遇到了一些讨论，说你不应该使用BATCHES。虽然我想找到这个error.Also的根本原因，如何以及从哪里设置/获取“套接字选项”。setReadTimeout”，因为这个超时限制必须大于Cassandra根据标准指南请求的超时，以避免可能的错误。

request_timeout_in_ms和SocketOptions. setReadTimeout是一样的吗？有人能帮我吗？

Answer 1

在执行Cassandra操作（批量执行-在两个表上插入和更新操作）时，我收到“所有主机都尝试查询失败-com。数据。驱动程序。核心。操作时间异常”错误。

直接从文档：

最常见的原因是Spark发出写入请求的速度比Cassandra处理它们的速度快得多。这可能会导致GC问题并积累提示。如果您的应用程序属于这种情况，请尝试使用以下选项降低并发写入的数量和当前批处理大小。

spark . Cassandra . output . batch . size . rows spark . Cassandra . output . concurrent . writes

或在大于或等于1.2.0集的Spark Cassandra连接器版本中

spark . Cassandra . output . throughput _ MB _ per _ sec

这将允许您控制每秒每个 Spark 核心写入 C* 的数据量。

你不应该使用批处理

这并不总是正确的，连接器使用本地令牌感知批处理实现更快的读写，但这在自定义应用程序中很难实现。在许多情况下，异步查询更好或同样好。

设置读取超时

这是一个DataStax java驱动方法。连接器会为您处理这些，无需更改。