当前位置: 首页 > 知识库问答 >
问题:

在 avro schema 中表达 spark 'StructType'

奚曦哲
2023-03-14

您将如何在avro架构中描述spark StructType数据类型?我正在生成一个 Parquet 文件,其格式在 avro 架构中进行了描述。然后,将此文件从 S3 加载到 spark 中。有一个数组映射数据类型,但它们与结构类型不对应。

共有1个答案

岑畅
2023-03-14

使用软件包org.apache.spark.sql.avro(Spark 2.4),您可以将parkSQL模式转换为avro模式和viceversa。

你不能尝试这种方式:

导入org.apache.spark.sql.avro.SchemaConvertersval sqlType=SchemaConverters.toSqlType(avroSchema)var rowRDD=yourGeneircRecordRDD.map(记录=

在这里,您也可以找到更多答案:代码

 类似资料:
  • 问题内容: 有没有办法让AngularJS在模型数据中评估表达式? HTML: 模型: 最终结果将是:。 问题答案: 您可以使用该服务来插值字符串… JSFiddle

  • 我有一个带两个可能输出的字符串,它将被<代码>

  • 本文向大家介绍中缀表达式转后缀表达式相关面试题,主要包含被问及中缀表达式转后缀表达式时的应答技巧和注意事项,需要的朋友参考一下 参考回答: 对于中缀表达式,遇到操作数直接将其输出,如果遇到操作符和左括号全部压入栈中,若遇到右括号则将栈中元素全部弹出,直到遇到左括号为止。压栈过程中,若遇到其它操作符,从栈中弹出元素直到遇到更低优先级的操作符为止。

  • 我试图在iReport中实现一个简单的表达式,但无论我尝试什么,似乎都给了我一个错误。这似乎是一件很简单的事情,但每当我尝试用Java做任何事情时,我都需要大约20次尝试才能把它做好。 我所要做的就是在整数字段的值不为零时显示子报告。我正在对子报告控件使用打印时表达式。 以下是我尝试过的许多事情中的一些: 显然我的Java很烂。任何帮助都将不胜感激。谢谢

  • 我正在搜索正则表达式-"。(冲突的副本。"。我为此写了以下代码 但我有个例外 异常在线程"main"中java.util.regex.Pattern Syn的异常:索引15附近的未关闭组。( 我知道编译器认为是模式组的开始。我试图通过添加来逃避),但这不起作用。 有人能告诉我怎么逃走吗?

  • 我还在尝试理解lambda表达式。 我想将这个lambda表达式转换为“普通”表达式: 你们有主意吗? 提前谢谢。