HBase表键设计与重复和区域服务器热点检测

Question

我需要存储由用户ID标识的用户生成的事件。每个用户都属于由CompanyID标识的公司。我在HBase中提出了一个表的设计，如下所示：

行键:

column-family：info（封装事件属性集，如下所示）

列: , ....

我知道这种密钥设计将方便以后通过使用部分密钥扫描在companyId和/或userId上查询数据。说到这里，我有一些问题和关切，想要得到一些想法。

1-如果我们有一个读取用例，在给定的时间范围内读取所有数据，那么在当前的设计中，我们将无法使用行键。相反，我们必须在时间戳字段（作为attr列之一单独维护）上进行全扫描和筛选行，我在这里是不是完全离谱了？

2-如何处理重复？我知道HBase在这种情况下会创建一个新版本的行，但它会允许以后根据1中提到的读取使用酶进行读取吗？我知道您可以在查询时控制版本，但这是一个好的设计还是不正确地重载本机功能？

3-这是关于区域服务器热点检测。我们没有单片密钥，但我们仍然可以运行到这个问题，如果说，一个特定的公司或用户是非常活跃的。基于服务器数量的散列和桶式处理在这种情况下不起作用吗？如果我们对timestamp字段进行哈希，并将其附加到行键而不是原始值，那就可以了？但问题是无法扫描密钥的时间戳组件。我们必须在一个列中有一个单独的列（attr）来捕获它。有什么建议吗？

非常感谢任何输入（评论，链接，书籍，想法），可以提供。

Answer 1

1：阅读用例

这取决于您的用例：

>

如果您希望在给定的时间范围内为一个组织获取每个用户的数据，那么您所获得的数据在我看来是正确的，您必须对所有的组织数据进行扫描。

如果您希望读取给定的所有数据，您当前的键设计似乎很好。虽然我会翻转组织和用户id位置，生成新的密钥（rowkey：userId-companyId-timestamp）。这将是因为来自独立用户的数据是不相交的，这些数据现在不需要耦合在一起。

如果您在顶部按下时间戳(rowkey:timestamp-companyId-userId)，您可能能够对所有orgs/all users信息运行扫描，扫描结束于时间范围定义的位置（跳过全表扫描）

2：重复

注意：Hbase默认情况下最多记录一个单元格的3个版本（也不要将这些版本时间戳与您的行键上的时间戳混淆）。您可以增加这个限制并从不同的版本中提取结果，但是不建议将这个版本计数设置为高值。

如果您打算重写以前保存的值，我建议不要依赖于查找以前保存的版本（尽管有实现这一点的方法）。如果您必须能够保存/提取所有以前记录的数据，您也可以使用新列来存储新值。

3：热点地区

>

如果公司非常活跃，可以将companyId-userId的哈希添加到行键中。这将在任何组织上分发写的内容。

如果一个用户非常活跃，并且有一个用例可以以最优的方式取回它的所有数据，那么我不确定对密钥或时间戳进行散列是一个好的解决方案。您肯定希望将用户的数据保存在一起，但我不确定这里的更好解决方案是什么。

根据我对问题的理解，我可能会将行键设计为HASH（companyId-UserId）-companyid-userid-timestamp