在Apache Nifi中将Avro转换为拼花地板
我想将json数据转换为拼花格式。
我使用了GenerateFlowFile并放置了虚拟json值[{“firstname”：“prathik”,“age”：21},{“firstname”：“arun”,“age”：22}]。
par1&&，6(prathikarunprathikarun，(
哪里有个红点。
我试图以“格式化”的形式查看输出，但我得到这样的消息：无法生成数据视图：不是数据文件
提前致谢
共有1个答案
Parquet是一种二进制文件格式，不打算在NiFi内容查看器中查看。在较新版本的NiFi中，您可以使用ParquetWriter，而不是与ConvertRecord一起进行转换，并将转换后的Avro数据准备上传。
-
我有以Avro格式存储的Kafka主题。我想使用整个主题（在收到时不会更改任何消息）并将其转换为Parket，直接保存在S3上。 我目前正在这样做，但它要求我每次消费一条来自Kafka的消息，并在本地机器上处理，将其转换为拼花文件，一旦整个主题被消费，拼花文件完全写入，关闭写入过程，然后启动S3多部分文件上传。或《Kafka》中的阿夫罗- 我想做的是《Kafka》中的阿夫罗- 注意事项之一是Kaf
-
我有以下代码，它从Marketo系统中获取一些数据 这将返回给我以下数据 我想做的是，保存这个返回到一个拼花文件。但是当我用下面的代码尝试时，我收到了一条错误消息。 我做错了什么？
-
我将火花数据框保存为拼花文件，数据框具有从avro对象构建的行。相同的确切代码在这里-https://stackoverflow.com/a/41491999/2440775 我面临的挑战是，我希望能够在传入数据中缺少整数字段时具有空值。Avro似乎允许使用Union类型，但当我不指定默认值或在avsc中指定默认值为"null"时，我会得到以下错误： 如果我写一个默认值“0”，那么it saveA
-
我们需要每天将文本数据转换为拼花地板/avro，如果输入来自多个具有不同结构的源，我们希望使用基于spark sql的scala代码来实现这一点，而不考虑分隔符和列数或结构。
-
在Swift中，我使用kCFStringTransformToLatin将日语转换为Romaji，将汉语转换为拼音。在Java中有什么可以与Android相媲美的吗？或者我必须导入一些库（正如在这里的几篇文章中讨论的那样）。如果是，建议哪一个？
-
有一个网站这样做，但我想要一个图书馆或CLI。 谢了！
-
我正在尝试将存储在HDFS（100Gbs）上的一堆多部分avro文件转换为拼花文件（保留所有数据） Hive可以使用以下命令将avro文件作为外部表读取: 但是当我试图设计一张拼花桌时: 它会抛出一个错误： 失败：执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。java.lang.UnsupportedOperationException:未知字