在Cassandra中存储大量原始请求和响应的时间序列

Question

我有许多python进程，每个进程都重复查询一个单独的投注API。请求一次以~20-100的突发形式出现，然后该过程消失以解析响应并在大约一秒后重复。我希望使用卡桑德拉作为我的请求和响应的原始存储。这将允许我调试解析数据的问题和/或稍后重新解析。我正在尝试为此设计一个架构。

我想每个API都可以有一个单独的表（列族），这一点没什么可说的。我对表模式的最初想法是：

stripe text, // free text to describe the flavour of the request, e.g. live games  
date int, // YYYYMMDD  
requests map<datetime, text>,  
responses map<datetime, text>  

然后，我可以在请求和响应发生时将它们附加到正确的行中，并以每天一行按时间排序的请求和响应结束。然后，我可以轻松地返回并找到某一天的数据(这似乎是一次处理的合理数据块)，然后根据需要转到当天的特定时间点。

这里的问题是显而易见的，给定我的时间戳分辨率，在完全相同的时间发出的两个请求将会相互覆盖。尽管不太可能，但这是错误的。

然后，我继续我不太喜欢的第二个想法，使用请求的时间戳和散列来消除键的歧义，假设同一时间的同一请求应该返回相同的结果，因此应该足够唯一，即str(时间戳)str(散列(请求))，这意味着模式变成(日期时间变成文本)

stripe text, // free text to describe the flavour of the request, e.g. live games  
date int, // YYYYMMDD  
requests map<text, text>,  
responses map<text, text>  

这很糟糕，因为文本占用更多空间，比较起来也更慢，但我愿意接受它，然后我遇到了这个问题：

E               InvalidRequest: code=2200 [Invalid query] message="Map value is too long. Map values are limited to 65535 bytes but 435145 bytes value provided"

这基本上告诉我，无论如何我都不能把这些东西放在一个集合列中，因为响应的大小是任意的，而且几乎总是大于限制。

我是Cassandra世界的新手，但我认为这些CQL映射最终对应于记录中单独的列名和值，并且每列的大小限制为2GB。我能想到的一件事是不使用映射，每次都不断更改表模式，然后在单元格中插入一个正常值，但我不确定这在底层存储中有什么不同。

所以我想我有两个问题：

• 这只是CQL的限制还是Cassandra的全部？
• 更有经验的人能想到一个整体上更好的方法吗？

感谢阅读

KCH

Answer 1

回答我自己的问题——我的误解在于，在CQL，键的第一部分总是行键，所以对于组合键，键的其余部分形成列键。映射也在同一行的不同列中结束，使用它们自己的键名“展开”约定，但是应用了限制大小。