删除Apache Beam 2.2.0中的Bigtable行

Question

在数据流1中。x版本，我们可以使用CloudBigtableIO。writeToTable（TABLE\u ID）创建、更新和删除Bigtable行。只要将DoFn配置为输出变异对象，它就可以输出Put或Delete，以及CloudBigtableIO。writeToTable（）已成功创建、更新或删除给定RowID的行。

新的Beam 2.2.0 API似乎使用了BigtableIO。write（）函数，可与KV一起使用

感谢您的帮助！

**进一步澄清：

从本文件中：https://cloud.google.com/bigtable/docs/dataflow-hbase我理解，将依赖项ArtifactID从bigtable hbase数据流更改为bigtable hbase beam应该与beam 2.2.0版本兼容，本文建议使用CloudBigtableIO以旧方式进行Bigtble写入（并因此删除）。WriteTable（）。但是，这需要从com导入。谷歌。云bigtable。发布说明中建议的数据流依赖项系列已被弃用，不应使用（实际上，它似乎与新的配置类等不兼容）

**进一步更新：

看起来我的pom.xml在从bigtable-hbase-dataflow更改为bigtable-hbase-束artifactID后没有正确刷新。项目更新后，我可以从com.google.cloud.bigtable.beam.*分支导入，这似乎至少适用于最小的测试。

然而：看起来现在有两个不同的突变类：com.google.bigtable.v2。突变和org.apache.hadoop.hbase.client.突变？

为了让所有的东西协同工作，必须正确地指定哪个突变用于哪个操作？

有没有更好的方法？

Answer 1

我建议您应该继续使用CloudBigtableIO和bigtable-hbase-束。它不应该与bigtable-hbase-dataflow中的CloudBigtableIO有太大不同。

CloudBigtableIO使用HBaseorg.apache.hadoop.hbase.client.突变并将它们转换为Bigtable等效值

Answer 2

不幸的是，Apache Beam 2.2.0没有提供用于删除Bigtable中整行（包括行键）的本机接口。唯一完整的解决方案是继续使用CloudBigtableIO类，正如您已经提到的那样。

另一种解决方案是从行中删除所有单元格。这样，您就可以完全继续使用BigtableIO类。但是，此解决方案不会删除行键本身，因此存储行键的成本仍然存在。如果您的应用程序需要删除许多行，则此解决方案可能并不理想。

import com.google.bigtable.v2.Mutation
import com.google.bigtable.v2.Mutation.DeleteFromRow

// mutation to delete all cells from a row
Mutation.newBuilder().setDeleteFromRow(DeleteFromRow.getDefaultInstance()).build()