Scala spark thorws ArrayOutOfBound异常计数，显示函数

Question

我在scala spark中运行以下代码，每当我点击count（）或show这样的动作函数时，就会出现数组越界异常。但是我可以打印模式

val wordsDF = spark.read.format("bigquery")
            .option("table","bigquery-public-data.samples.shakespeare")
      .load()
      .cache()

    wordsDF.printSchema()
    wordsDF.count()
    wordsDF.show()

错误堆栈跟踪

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>2.4.0</version>
        </dependency>

Answer 1

通过将spark版本更新为2.4.5，将protobuf-java版本更新为3.11.4来修复它。