对于TimestampType/java，相当于getLong。sql。时间戳？

Question

我试图使用scala和以下代码从spark流数据帧中提取值：

var txs = spark.readStream
  .format("kafka") .option("kafka.bootstrap.servers",KAFKABS)
  .option("subscribe", "txs")
  .load()
txs = txs.selectExpr("CAST(value AS STRING)")

val schema = StructType(Seq(
      StructField("from",StringType,true),
      StructField("to", StringType, true),  
      StructField("timestamp", TimestampType, true),
        StructField("hash", StringType, true),
      StructField("value", StringType, true)
))

txs = txs.selectExpr("cast (value as string) as json")
            .select(from_json($"json", schema).as("data"))
            .select("data.*")
            .selectExpr("from","to","cast(timestamp as timestamp) as timestamp","hash","value") 
val newDataFrame = txs
  .flatMap(row => {
    val to = row.getString(0)
    val from = row.getString(1)
   // val timestamp = row.getTimestamp??

   //do stuff
  })

我想知道是否有一个等效的时间戳类型化get方法？让我更加困惑的是，在我为结构化流定义的SQL类型和通过flatMap函数访问变量的实际类型之间似乎存在某种隐藏映射（至少对我来说是隐藏的）。我看了看医生，事实确实如此。根据文件：

返回位置i处的值。如果值为null，则返回null。以下是Spark SQL类型和返回类型之间的映射：

布尔型-

日期类型-

BinaryType-

考虑到这一点，我本以为这个映射会更正式地作为它实现的接口被烘焙到Row类中，但显然情况并非如此：（似乎在TimestampType/java.sql.Timestamp的情况下，我必须放弃我的时间戳类型以获取其他内容？有人请解释为什么我错了！我现在只使用scala和火花3-4个月。

-保罗

Answer 1

您已经正确地推断出时间戳类型列的Scala类型是java。sql。时间戳。

从V1.5.0开始。org.apache.spark.sql.Row有一个getTimestamp（i： Int）方法，因此您可以调用它并获取java.sql.Timestamp：

val timestamp = row.getTimestamp(1)

即使使用早期版本，也没有必要放弃这种类型，只需将getAs[T]（i:Int）与java一起使用即可。sql。时间戳：

val timestamp = row.getAs[java.sql.Timestamp](2)
// OR:
val timestamp = row.getAs[java.sql.Timestamp]("timestamp")