在consistency LOCAL\u ONE的简单写查询期间Cassandra超时

Question

我正在spark项目中使用spark sql 3.0.2和spark-cassandra-connector_2.12:3.1.0以及java8。

在写卡桑德拉表格时，我面临以下错误

最新的异常是在一致性LOCAL_ONE的简单写入查询期间发生Cassandra超时（需要1个副本，但只有0个副本确认了写入）

请检查执行程序日志以获取更多异常和信息table_cassandraAsyncStatementWriter.$anonfun$close2美元（TableWorg.apache.spark.scheduler.）在scala. Oask.run（Oask.scala:127）在org.apache.spark.executor.AsyncStatementWriter.close（TableWriter.scala:277）在com.datastax.spark.connector.datasource.CassandraDriverDataWriter.commit（CasssandraDriverDataWriterFactory.scala:46）在org.apache.spark.sql.execution.datasources.v2. DataWritingSparkTask$.$anonfun$run7美元（WriteToDataSourceV2Exec.scala:450）在org.apache.spark.util.Utils$. trySusSafeFinallyAndFailureCallback（Utils.scala:1411）在org.apache.spark.sql.execution.datasources.v2. DataWritingSparkTask$. run（WriteToDataSourceV2Exec.scala:477）在org.apache.spark.sql.execution.datasources.v2. V2TableWriteExec.$anonfun$WriteSusV22美元（WriteToDataSourceV2Exec.scala:385）在org.apache.spark.scheduler.ResultTask.run任务（ResultTcom.datastax.spark.connector.writer.）在riter.scala:282Tption.map（Tption.scala:230）在com.datastax.spark.connector.writer.Execitor$TaskRunner.$anon

我正在使用以下配置

concurrentWrites: 2056 #1024 #64
outputBatchSizeBytes: 2048
outputBatchGroupingKey: partition
outputConsistencyLevel: LOCAL_ONE
outputBatchGroupingBufferSize: 3000
outputThroughput_mb_per_sec: 1024 #256
connectionKeep_alive_ms: 30000
readTimeout_ms: 600000
ignoreNulls: true
readConsistencyLevel: LOCAL_ONE

Answer 1

这通常是因为Spark Cassandra Connector试图尽可能快地写入数据，并且通常会使单个Cassandra节点过载，因此它们变得不响应（可能是因为JavaGC、压缩等）。

您可以调整写入配置参数，如递减spark.cassandra.output.concurrent.writes、spark.cassandra.output.throughputMBPerSec等，但通常可以通过不使用LOCAL_ONE一致性级别（spark.cassandra.output.consistency.level），而是TWO或LOCAL_QUORUM来修复它。

您的配置基本上被推到了极限