如何在拼花架构定义中指定列描述
我正在使用层叠将文本分隔转换为拼花地板
下面是拼花图案:
message LaunchApplication {
required int field1;
required binary field2;
optional binary field3;
required binary field4;
}
以下是avro模式:
{ "type":"record", "name":"CascadingAvroSchema", "namespace":"", "fields":[
{"name":"field1","type":"int","doc":"10,NOT NULL, KeyField"},
{"name":"field2","type":"string","doc":"5,NOT NULL, FLAG, Indicator},
{"name":"field3","type":["null","string"],"doc":"20,NULL, System Field."},
{"name":"field4","type":"string","doc":"20,NOT NULL,MM/DD/YYYY,Record Changed Date."} ]
}
如何跟踪parquet中avro文件中的“doc”部分？
共有1个答案
实际上Parque也支持Avro模式。如果您使用Avro模式，Parque将从中推断出Parque模式，并将Avro模式存储在元数据中。
-
我正在运行EMR笔记本中的所有代码。 火花版本 temp_df.print模式 温度df。显示（2） 温度df。写拼花地板（path='s3://project7878/clean\u data/temperatures.parquet'，mode='overwrite'，partitionBy='year'） 火花阅读拼花地板（path='s3://project7878/clean\u dat
-
问题内容： 我想将某些类型为ParentClass的字段作为json字符串存储到我的数据库中。我不想使用Serializable接口和DataType.SERIALIZABLE导致它与序列化类的完整类名相关联。 所以我正在使用以下代码： 持久性类的一种： 这是我遇到的两个问题： 我没有得到如何指定从对象到字符串的自定义转换的信息。似乎ORMLite调用Object.toString（）以获得对象的
-
我正在试图找出为什么我不能在＜code＞的“消息”： 当我试图解析模式时，我得到了以下错误： 线程“main” org.apache.avro.SchemaParseException中的异常：未定义的名称：“media_type”at org.apache.avro.Schema.parse（Schema.java：1162） at org.apache.avro.Schema.parse（Sc
-
使用scala或pyspark读取hadoop中存储的拼花地板文件时，出现错误： 或 导致相同的错误。 错误消息非常清楚必须做什么：无法推断拼花的模式。必须手动指定。；。但是我在哪里可以指定它呢？ Spark 2.1.1、Hadoop 2.5、数据帧是在pyspark的帮助下创建的。文件被划分为10个peace。
-
我得到了一个定义字段的警告： 我试图将其更改为： 现在它根本不起作用，因为模式无效。 错误： 知道怎么解决吗？