当查询完整的cassandra表时，Spark Job只会停止

Question

我在一个scala程序中做这件事。当我使用方法1时，spark job神秘地永远停留在12阶段中的第10阶段。在日志和火花作业页面验证。当我使用第二种方法时，它只是告诉我不存在这样的表：

未知异常：org.apache.spark.sql.analysisException：找不到表或视图:keyspace1.table1；1号线15号；‘项目[*]+-'unresolvedrelationkeyspace1。table1

有趣的是，我在集群上的spark shell中测试了这两种方法，它们都工作得很好。我的程序使用方法1完成了许多其他查询，它们都工作得很好，关键的区别在于，在每个查询中，主分区键总是有一个条件，而不是在这个查询中（对于这个特定的表也是如此）。

CREATE TABLE keyspace1.table1 (
    userid text,
    stat_type text,
    event_time bigint,
    stat_value double,
    PRIMARY KEY (userid, stat_type)) 
WITH CLUSTERING ORDER BY (stat_type ASC)

任何对问题的可靠诊断或解决办法都将非常感谢

Answer 1

当您在cassandra中执行select*而没有where子句时，实际上是在执行一个完整的查询。这不是cassandra中的预期用例（也许除了偷看数据之外）。为了好玩，尝试用select*from keyspace.table limit 10替换，看看它是否有效，它可能...

不管怎样，我的直觉说你的问题不是火花，而是卡桑德拉。如果您有cassandra度量的可见性，请查找范围查询延迟。

现在，如果上面的代码已经完成--方法1冻结而方法2没有冻结的原因是方法1包含一个操作(collect)，而方法2不涉及任何火花操作，只是模式推断。如果您添加到方法2df.collect，您将面临与cassandra相同的问题