如何在HBase中扫描和删除数百万行

Question

发生的事情
由于系统中的错误，上个月的所有数据都已损坏。所以我们不得不手动删除并重新输入这些记录。基本上，我想删除在某段时间内插入的所有行。但是，我发现很难在HBase中扫描和删除数百万行。

可能的解决方案
我找到了两种批量删除的方法:
第一种是设置一个TTL，这样所有过期的记录都会被系统自动删除。但是我想保留上个月之前插入的记录，所以这个解决方案对我不起作用。

第二种选择是使用Java API编写客户端：

 public static void deleteTimeRange(String tableName, Long minTime, Long maxTime) {
    Table table = null;
    Connection connection = null;

    try {
        Scan scan = new Scan();
        scan.setTimeRange(minTime, maxTime);
        connection = HBaseOperator.getHbaseConnection();
        table = connection.getTable(TableName.valueOf(tableName));
        ResultScanner rs = table.getScanner(scan);

        List<Delete> list = getDeleteList(rs);
        if (list.size() > 0) {

            table.delete(list);
        }
    } catch (Exception e) {
        e.printStackTrace();

    } finally {
        if (null != table) {
            try {
                table.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

        if (connection != null) {
            try {
                connection.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

}

private static List<Delete> getDeleteList(ResultScanner rs) {

    List<Delete> list = new ArrayList<>();
    try {

        for (Result r : rs) {
            Delete d = new Delete(r.getRow());
            list.add(d);
        }
    } finally {
        rs.close();
    }
    return list;
}

但是在这种方法中，所有记录都存储在resultscannerrs中，因此堆的大小会很大。而如果程序碾压，就得从头开始。
那么，有没有更好的方法达到目标呢？

Answer 1

我不知道您在表中处理了多少个“百万”，但最简单的做法是不要尝试将它们一次全部放入列表中，而是通过使用.next(n)函数以更易管理的步骤来完成。类似这样的事情：

for (Result row : rs.next(numRows))
{
Delete del = new Delete(row.getRow());
...
}

这样，您就可以通过numrows参数控制通过单个RPC从服务器返回多少行。确保它足够大，这样就不会对服务器进行太多的往返访问，但同时也不会太大而会杀死您的堆。还可以使用bufferedmutator一次对多个delete操作。

希望这有帮助。