如何使用模式将dataframe转换为avro？
如何使用用户指定的架构将dataframe转换为Avro格式？
共有1个答案
您应该使用允许从Spark SQL读写Avro数据的spark-avro模块。
import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession
val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
.read
.format("com.databricks.spark.avro")
.option("avroSchema", schema.toString)
.load("src/test/resources/episodes.avro")
-
对我来说，这似乎是如此基本和简单，但我在网上没有找到任何东西。 有许多关于如何获得JSON模式的示例，也有许多如何从以下对象创建mongoose模式的示例: 如果我试图直接放置JSON模式，我会得到一个错误 但是我在网上找不到从一种类型到另一种类型的转移。 以前有人有这个问题吗？
-
问题内容： 我有一个带有两列的Pandas –一列带有文件名，一列带有生成它的时间： 我正在尝试将其转换为以下格式的JSON文件： 使用命令时，将以以下格式获取记录： 我只是想知道是否存在以所需格式获取JSON文件的选项。任何帮助，将不胜感激。 问题答案： 您得到的输出是。因此，您可以根据需要简单地对其进行切片，并从中删除逗号。 要将输出写入文本文件，您可以执行以下操作：
-
问题内容： 我正在尝试将数据框的一栏转换为日期时间。在这里的讨论之后，https：//github.com/dask/dask/issues/863我尝试了以下代码： 但是我收到以下错误消息 我到底应该把什么放在meta之下？我应该将所有列的字典放在df中还是仅将“时间”列放在字典中？我应该放什么类型？我已经尝试过dtype和datetime64，但到目前为止它们都没有工作。 谢谢，感谢您的指导，
-
我想将XML转换为JSON（具体地说，是OAI-PMH响应）。我目前正在使用这个节点。JSXML2JS，但问题是JSON非常冗长，有很多嵌套和数组级别，即使只有一个元素作为子元素，并且永远不会超过一个。问题是，不知道XML文件的模式，因此必须保守。 我的问题是，是否有任何其他（最好是JavaScript）代码可以使用XML架构来指导转换过程？因此，如果架构定义了XML的类型和结构，那么JSON就会
-
有人能分享一下如何将转换为吗？
-
有一个网站这样做，但我想要一个图书馆或CLI。 谢了！