尝试确认我对HBase和MapReduce行为的理解

Question

我正在尝试对我的HBase数据集进行一些处理。但我对HBase和Hadoop生态系统还是个新手。

我想从这个社区得到一些反馈，看看我对HBase和它上的MapReduce操作的理解是否正确。

这里的一些背景：

null

为了简化这个问题，我将以正式的行计数器实现为例，我想确认我的知识是正确的。

所以我对HBase和MapReduce的问题是：

>

在RowCounter的最简单形式中（没有任何可选参数），它实际上是一个全表扫描。HBase遍历表中的所有记录，并将行发出到RowCounterMapper中的map方法。这是正确的吗？

在我们的例子中，我们可能需要根据修改后的时间过滤数据。在这种情况下，我们可以使用scan.setTimeRange（）来限制数据集的范围。我的问题是，既然HBase没有索引时间戳，那么这个扫描是否会变成一个全表扫描，并且与我们仅仅通过MapReduce作业本身过滤它相比没有任何优势？

最后，实际上我们对我们应该怎么做这个出口进行了一些讨论。我们有以下两种方法，但不确定哪一种更好。

>

使用上面描述的MapReduce方法。但是我们不确定并行性是否会受到一个表有多少个区域的约束。即，并发永远不会超过区域计数，除非增加区域，否则无法提高性能。

Answer 1

看起来你有一个很小的集群。可伸缩性还取决于区域服务器的数量。因此，仅仅增加表中的区域数量而不增加区域服务器的数量并不能真正帮助您加快工作速度。我认为80个地区/卢比的表本身就足够了。我假设您将使用TableInputFormat，它通过运行1 mapper/region来工作，并根据scan对象执行服务器端筛选。我同意使用TableInputFormat进行扫描是从hbase导出大量数据的最佳方法，但可伸缩性和性能不只是与区域数量成正比。还有很多其他因素，比如RS的数量、每个RS上的RAM和磁盘、数据的均匀分布等等。

一般情况下，我会选择#1，因为您只需要准备一个扫描对象，然后hbase将负责Rest。

#2比较麻烦，因为您需要在HBase外部维护行键状态。