从火花中读取结构在 scala 中

Question

我正在运行以下scala代码：

val hiveContext=new org.apache.spark.sql.hive.HiveContex(sc)
val df=hiveContext.sql("SELECT * FROM hl7.all_index")
val rows=df.rdd
val firstStruct=rows.first.get(4)
//I know the column with index 4 IS a StructType
val fs=firstStruct.asInstanceOf[StructType]
//now it fails
//what I'm trying to achieve is
log.println(fs.apply("name"))

我知道firstStruct是structType，StructFields的一个名称是“name”，但在尝试强制转换时似乎失败了。我被告知spark/hive结构与scala不同，但为了使用structType，我需要

import org.apache.spark.sql.types._

所以我想他们应该是同一种类型的。

我看了看这里：https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/types/StructType.scala

以便查看如何到达structField。

谢谢！

Answer 1

模式类型是逻辑类型。它们不会一对一地映射到具有该模式类型的列中的对象类型。

例如，蜂巢/SQL 对 64 位整数使用 BIGINT，而 SparkSQL 使用长类型。Scala 中数据的实际类型是长数据。这是您遇到的问题。

Hive中的struct（SparkSQL中的structType）在数据框中由Row表示。因此，您要做的是以下操作之一：

row.getStruct(4)

import org.apache.spark.sql.Row
row.getAs[Row](4)