用于维护每个用户的有界列表的最佳Cassandra数据模型

Question

我有包含用户与网站交互的Kafka流，因此每个事件都有时间戳和有关事件的信息。对于每个用户，我想将最后K个事件存储在Cassandra中（例如100个事件）。

我们的网站不断遇到机器人/重度用户，这就是我们想要限制事件的原因，只是为了考虑“正常”用户。

我目前在Cassandra中拥有当前的数据模型：

 user_id, event_type, timestamp, event_blob 

在哪里

 <user_id, event_type> = partition key,   timestamp = clustering key

现在，只要有新的事件发生，我们就在Cassandra中写一个新的记录，然后我们去清理“较重的”分区(即事件的计数

对于这种情况，你有什么更好的桌子设计建议吗？有没有办法告诉Cassandra最多只为partition存储K个元素，用FIFO的方式让旧的过期？或者有没有我可以选择的更好的桌子设计？

Answer 1

现有实现的问题在于，删除操作会创建逻辑删除，最终导致读取延迟。不建议创建过多的逻辑删除。

基于计数（每个分区的行数）的 FIFO 实现是不可能的。对于您的用例，更好的方法是不删除同一表中的记录。使用 Spark 将表迁移到新的临时表中，并在迁移过程中删除多余的记录。像这样：

1）创建一个新表

2）使用Spark，从原始表中读取，迁移所有必需的记录（过滤额外的记录）并写入新的临时表。

3)截断原始表格。请注意，截断操作不会创建墓碑。

4） 使用Spark将所有内容从临时表迁移回原始表。

5） 截断临时表。

您可以在应用程序的维护时段内执行此操作（例如每月一次），直到那时您可以使用每个分区限制为 100 来限制读取。

Answer 2

对于这种情况，你有什么更好的桌子设计建议吗？

当对这样的场景进行数据建模时，我推荐一种模式，它利用了三件事:

• 表上设置的默认 TTL。
• 按降序对时间分量进行聚类分析。
• 调整查询以使用时间戳上的范围，从不查询超过 TTL 的数据。

TTL:

稍后，我们去清理“较重”的分区

清理工作(平均)需要多长时间？我要做的一件事是，在你的团队通常必须清理它们之前，在那张桌子上使用一个TTL来设置大约最大时间量。

聚类键，降序:

所以你的PRIMARY KEY定义看起来像这样：

PRIMARY KEY ((user_id,event_type),timestamp)

确保您也在时间戳上按降序聚类。

WITH CLUSTERING ORDER BY (timestamp DESC)

这对于与您的TTL一起使用很重要。在这里，您的墓碑位于分区的“底部”（在时间戳降序排序时），最近的数据（您关心的数据）位于分区的“顶部”。

范围查询：

最后，确保查询的时间戳上有一个范围组件。

例如：如果今天是11号，而我的TTL是5天，那么我可以在不拉回墓碑的情况下查询最近4天的数据：

SELECT * FROM events
WHERE user_id = 11111 AND event_type = 'B'
AND timestamp > '2020-03-07 00:00:00';