在一致性为1的读取查询期间Cassandra超时（需要1个响应，但只有0个副本响应）

Question

基础结构详细信息:
拥有5个Cassandra节点、5个spark和3个Hadoop节点，每个节点有8个内核和28 GB内存，Cassandra复制因子为3。

Cassandra 2.1.8.621 DSE 4.7.1 Spark 1.2.1 Hadoop 2.7.1。

Cassandra配置：

read_request_timeout_in_ms (ms): 10000
range_request_timeout_in_ms (ms): 10000
write_request_timeout_in_ms (ms): 5000
cas_contention_timeout_in_ms (ms): 1000 
truncate_request_timeout_in_ms (ms): 60000
request_timeout_in_ms (ms): 10000.

CREATE TABLE section_ks.testproblem_section (
    problem_uuid text PRIMARY KEY,
    documentation_date timestamp,
    mapped_code_system text,
    mapped_problem_code text,
    mapped_problem_text text,
    mapped_problem_type_code text,
    mapped_problem_type_text text,
    negation_ind text,
    patient_id text,
    practice_uid text,
    problem_category text,
    problem_code text,
    problem_comment text,
    problem_health_status_code text,
    problem_health_status_text text,
    problem_onset_date timestamp,
    problem_resolution_date timestamp,
    problem_status_code text,
    problem_status_text text,
    problem_text text,
    problem_type_code text,
    problem_type_text text,
    target_site_code text,
    target_site_text text
    ) WITH bloom_filter_fp_chance = 0.01
    AND caching = '{"keys":"ALL", "rows_per_partition":"NONE"}'
    AND comment = ''
    AND compaction = {'class': 
    'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy'}
    AND compression = {'sstable_compression': 
    'org.apache.cassandra.io.compress.LZ4Compressor'}
    AND dclocal_read_repair_chance = 0.1
    AND default_time_to_live = 0
    AND gc_grace_seconds = 864000
    AND max_index_interval = 2048
    AND memtable_flush_period_in_ms = 0
    AND min_index_interval = 128
    AND read_repair_chance = 0.0
    AND speculative_retry = '99.0PERCENTILE';

2)更新section_ks.encounters SET testproblem_uuid_set=testproblem_uuid_set+{'1256'}WHERE encounter_uuid='abcd345'；

Answer 1

通常，当您出现超时错误时，这意味着您正在尝试做一些在Cassandra中伸缩性不佳的事情。修复通常是修改您的架构。

我建议您在运行查询时监视节点，看看是否能发现问题区域。例如，您可以运行“watch-n1 nodetool tpstats”来查看是否有队列正在备份或删除项。请参见此处的其他监控建议。

在您的配置中，有一件事可能是错误的，您说您有五个Cassandra节点，但只有3个spark worker（或者您是说每个Cassandra节点上有三个spark worker？）您需要在每个Cassandra节点上至少有一个spark worker，以便将数据加载到spark中是在每个节点上本地完成的，而不是通过网络。