使用Apache Beam的数据流sdk写入BigTable时捕获NullPointerException

Question

我正在使用Apache的Beamsdk version0.2.0-孵化-SNAPSHOT并尝试使用Dataflow运行器将数据拉至bigtable。不幸的是，当我使用BigTableIO. Write作为我的接收器时，我在执行我的数据流管道时得到了NullPointerException。已经检查了我的BigtableOptions并且参数很好，根据我的需要。

基本上，我创建并在我的管道的某个点上完成了编写PCollection的步骤

final BigtableOptions.Builder optionsBuilder =
    new BigtableOptions.Builder().setProjectId(System.getProperty("PROJECT_ID"))
        .setInstanceId(System.getProperty("BT_INSTANCE_ID"));

// do intermediary steps and create PCollection<KV<ByteString, Iterable<Mutation>>> 
// to write to bigtable

// modifiedHits is a PCollection<KV<ByteString, Iterable<Mutation>>>
modifiedHits.apply("writting to big table", BigtableIO.write()
    .withBigtableOptions(optionsBuilder).withTableId(System.getProperty("BT_TABLENAME")));

p.run();

在执行管道时，我得到了NullPointerException，它精确地指向了公共void processElement（ProcessContext c）方法中的BigtableIO类：

(6e0ccd8407eed08b): java.lang.NullPointerException at org.apache.beam.sdk.io.gcp.bigtable.BigtableIO$Write$BigtableWriterFn.processElement(BigtableIO.java:532)

我检查过这个方法在bigtable上写之前正在处理所有元素，但不确定为什么我在执行这个管道的时候会遇到这样的异常。根据下面的代码，此方法使用bigtableWriter属性来处理每个c.element（），但我甚至无法设置断点来调试正好是null的地方。对于如何解决这个问题，有什么建议吗？

@ProcessElement
  public void processElement(ProcessContext c) throws Exception {
    checkForFailures();
    Futures.addCallback(
        bigtableWriter.writeRecord(c.element()), new WriteExceptionCallback(c.element()));
    ++recordsWritten;
  }

谢谢。

Answer 1

我查找了作业及其类路径，如果我没有弄错的话，看起来您使用的是beam SDK java{core，io}的0.3.0-Cubating-SNAPSHOT版本，但是google cloud dataflow java的0.2.0-Cubating-SNAPSHOT版本。

我认为问题就在于此-您必须使用相同的版本（更多详细信息：0.3.0版中的BigtableIO使用设置和拆卸方法，但runner 0.2.0尚不支持）。