Cassandra在高IOPS运行5分钟后抛出NoHost可用性异常

Question

我正在使用数据斯塔克斯卡桑德拉2.1驱动程序，并以~8000 IOPS的速率执行读/写操作。我使用池选项来配置我的会话，并使用单独的会话进行读取和写入，每个会话都连接到群集中的不同节点作为联系点。这在 5 分钟内工作正常，但在那之后我得到很多异常，例如：

失败原因：com.datastax.driver.core.exceptions.NoHostAvailableException：尝试查询的所有主机都失败（尝试：/10.0.1.123:9042（com.datastax.driver.core.TransportException：[/10.0.1.123:9042]连接已关闭），/10.0.1.56:9042（com.datastax.driver.core.exceptions.DriverException：尝试获取可用连接时超时（您可能希望增加每个主机连接的驱动程序数量）））

有人能帮我解决什么问题吗？

异常要求我增加每个主机的连接数，但是我可以为此参数设置多高的值？另外，我无法将Core连接PerHost设置为超过2，因为它会给我一个例外，说2是最大值。

这就是我创建每个读/写会话的方式。

   PoolingOptions poolingOpts = new PoolingOptions();
           poolingOpts.setCoreConnectionsPerHost(HostDistance.REMOTE, 2);
           poolingOpts.setMaxConnectionsPerHost(HostDistance.REMOTE, 200);
           poolingOpts.setMaxSimultaneousRequestsPerConnectionThreshold(HostDistance.REMOTE, 128);
           poolingOpts.setMinSimultaneousRequestsPerConnectionThreshold(HostDistance.REMOTE, 2);
           cluster = Cluster
             .builder()
             .withPoolingOptions( poolingOpts )
             .addContactPoint(ip)
             .withRetryPolicy( DowngradingConsistencyRetryPolicy.INSTANCE )
             .withReconnectionPolicy( new ConstantReconnectionPolicy( 100L ) ).build();
           Session s =  cluster.connect(keySpace);

Answer 1

您的问题可能不在您的代码或连接方式中。如果您说问题在几分钟后发生，那么很可能是您的集群在尝试处理数据摄取时变得过载，无法跟上。典型的迹象是当您开始在cassandra系统中看到JVM垃圾收集“GC”消息时。日志文件中，太多的小客户机和大客户机单独批处理在一起可能意味着传入的客户机没有响应导致这种情况。在开始查看代码之前，请先确认日志中没有显示太多这些事件。下面是一个大型GC事件的好例子：

INFO[scheduled tasks:1]2014-05-15 23:19:49，678 GCInspector.java(第116行)GC for concurrent mark sweep:2896 ms for 2 collections，310563800 used马克斯是8375238656

当连接到一个集群时，有一些建议，其中之一是每个真实集群只有一个集群对象。根据我在下面链接的文章（如果你已经研究过，请道歉）：

• 每个（物理）群集（每个应用程序生存期）使用一个群集实例
• 每个密钥空间最多使用一个会话实例，或者使用单个会话并在查询中显式指定密钥空间
• 如果多次执行语句，请考虑使用准备好的语句
• 通过使用批处理，您可以减少网络往返次数，也可以进行原子操作

http://www.datastax.com/documentation/developer/java-driver/2.1/java-driver/fourSimpleRules.html

由于您正在进行大量读取，如果setFetchSize适用于您的代码，我绝对建议您使用它

http://www.datastax.com/documentation/developer/java-driver/2.1/common/drivers/reference/cqlStatements.html

http://www . datas tax . com/documentation/developer/Java-driver/2.1/Java-driver/reference/query builder overview . html

这里有一些连接选项供参考，如果你觉得有用的话。

http://www . datastax . com/documentation/developer/Java-driver/2.1/common/drivers/reference/connections options _ c . html

希望这有所帮助。