卡珊德拉火花连接器数据丢失

Question

刚才，我们使用datastax spark连接器计算了一些统计数据。重复的查询在每次执行时返回不同的结果。

val guids = sc.cassandraTable[UUID]("keyspace","contracts").select("guid")

val gss = List.fill(20)(Set(guids.collect():_*))
val gsall = gss reduce (_ | _)
val lost = gss map (gsall &~ _ size)

这可能是卡桑德拉、火花或连接器的问题吗？在每一种情况下，是否存在一些配置方法来防止这种情况？

Answer 1

我阅读了一些文档，了解到阅读一致性水平可以而且应该为这种情况设置。声明后

implicit val readConf = ReadConf.fromSparkConf(sc.getConf).copy(
    consistencyLevel = ConsistencyLevel.ALL)

我有稳定的结果。