Spark Strutured流自动将时间戳转换为本地时间

Question

我有我的时间戳在UTC和ISO8601，但使用结构化流，它会自动转换成本地时间。有办法阻止这种转换吗？我想要UTC的。

{"Timestamp":"2015-01-01T00:00:06.222Z"}

SparkSession
  .builder()
  .master("local[*]")
  .appName("my-app")
  .getOrCreate()
  .readStream()
  .format("kafka")
  ... //some magic
  .writeStream()
  .format("console")
  .start()
  .awaitTermination();

StructType schema = DataTypes.createStructType(new StructField[] {
        DataTypes.createStructField("Timestamp", DataTypes.TimestampType, true),});

+--------------------+
|           Timestamp|
+--------------------+
|2015-01-01 01:00:...|
|2015-01-01 01:00:...|
+--------------------+

正如你所看到的，小时本身就增加了。

PS：我尝试使用from_utc_timestampSpark函数，但没有成功。

Answer 1

对我来说，使用它很有效：

spark.conf.set("spark.sql.session.timeZone", "UTC")

它告诉spark SQL使用UTC作为时间戳的默认时区。例如，我在spark SQL中使用了它：

select *, cast('2017-01-01 10:10:10' as timestamp) from someTable

我知道它在2.0.1中不起作用。但在Spark2.2中工作。我也在sqltransformer中使用了它，它工作了。

不过，我不确定流媒体。