为什么Dataproc使用这个奇怪的JSON包着色版本？我如何使用它？

Question

我试图从BigQuery连接器捕获预期的异常。异常的类是：com.google.应用程序编程接口。客户古格里皮斯。json。GoogleJsonResponseException，我以前成功地捕获了云存储连接器引发的异常。

当我在Dataproc（Spark）中运行代码时，抛出的异常与此异常类似，但为着色版本：com.google.云hadoop。重新包装。bigquery。通用域名格式。谷歌。应用程序编程接口。客户古格里皮斯。json。谷歌JSONResponseException。

我的代码如下所示：

...
  case e: GoogleJsonResponseException =>
    e.getDetails.getCode match {
      case 404 =>
        ss.emptyDataFrame
      case _ =>
        throw e
    }
  case e: Exception =>
    println(e.getClass) // reaches here
    throw e
...

在我的构建中。sbt（我认为这可能是错误的）我有：

assemblyShadeRules in assembly := Seq(
  ShadeRule
    .rename("com.google.common.**" -> "repackaged.com.google.common.@1")
    .inAll
)

我需要这个重新打包的版本来消除谷歌的一些讨厌的不兼容（羞耻谷歌，羞耻）。

为什么它也在这上面做阴影？我怎样才能让它工作或围绕它工作？

小警告：我在Java方面做得不多，在Scala方面做得更少，所以我对着色/重新打包知之甚少——要温柔

编辑：根据下面的评论，我可能应该说更多关于确切的方法。

我正在读取数据从BQ与SparkContext.newAPIHadoopRDD。堆栈跟踪的顶部如下所示：

at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:150)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:113)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.AbstractGoogleClientRequest$1.interceptResponse(AbstractGoogleClientRequest.java:401)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.http.HttpRequest.execute(HttpRequest.java:1097)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:499)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:432)
    at com.google.cloud.hadoop.repackaged.bigquery.com.google.api.client.googleapis.services.AbstractGoogleClientRequest.execute(AbstractGoogleClientRequest.java:549)
    at com.google.cloud.hadoop.io.bigquery.BigQueryHelper.getTable(BigQueryHelper.java:327)

Answer 1

这显然是因为BQ连接器中有一个bug。多亏了大港和Igor Dvorzhak，据称它现在将在即将发布的连接器1.0.0版本中得到修复（见对问题的评论）。

如果您有此问题，请等待新版本发布。或者如果它已经被更新到

希望这能有所帮助。