Apache Beam Java 2.26.0:BigQueryIO“请求中没有行”

Question

自从Beam2.26.0更新后，我们在Java SDK流数据管道中遇到了错误。我们已经调查这个问题很长时间了，但无法找到根本原因。当降级到2.25.0时，管道按预期工作。

{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "No rows present in the request.",
    "reason" : "invalid"
  } ],
  "message" : "No rows present in the request.",
  "status" : "INVALID_ARGUMENT"
}

1. BigQuery的DATETIME类型现在映射到Beam逻辑类型org.apache.Beam.sdk.schemas.logicaltypes.sqltypes.DATETIME
2. Java BigQuery流插入现在默认情况下启用了超时。传递--httpwriteTimeout=0以恢复到旧行为

关于第一次更新，我确保禁用了生成的tablerow对象中的所有datetime。在这个特定的场景中，错误仍然存在。

对于第二个更改，我不确定如何将--httpwriteTimeout=0标志传递给管道。如何最好地实现这一点？

提前感谢！

Answer 1

我们终于能够解决这个问题，并放心，这是一次地狱般的旅程。我们基本上调试了整个BigQueryIO连接器，并得出以下结论：

>

TableRow对象，这些对象被转发到用于包含枚举值的BigQuery。由于这些负载不可序列化，空的有效负载被转发到BigQuery。在我看来，这个错误应该更加明确（为什么这个突然被改变了？）。

• 通过向每个枚举项添加@value注释(com.google.api.client.util.value)解决了这个问题。

同一个TableRow对象还包含Byte[]类型的值。该值被注入到具有bytes类型的BigQuery列中。虽然这在以前不显式计算base64的情况下工作，但现在它产生了错误。

• 通过自己计算base64解决了这个问题（此设置也将在下一篇文章中讨论）。