NiFi非Avro JSON读取器/写入器

Question

标准的ApacheNIFI读写器似乎只能解析基于Avro模式的JSON输入。

Avro模式对JSON有限制，例如它不允许以数字开头的有效JSON属性。

JoltTransformJSON处理器在这里可以有所帮助(它没有对输入JSON可能的样子施加Avro限制)，但似乎这个处理器不支持批处理流文件。它也不是基于读者和作者(也许正因为如此)。

是否有方法读取任意有效的批处理JSON输入，例如多行格式

{"myprop":"myval","12345":"12345",...}
{"myprop":"myval2","12345":"67890",...}

并将其转换为其他JSON结构，例如，由JSON模式定义，例如，使用JSON补丁转换，而无需编写自己的处理器？

更新

我使用的是Apache NiFi 1.7.1

更新2

不幸的是，@Shu的建议起了作用。我也犯了同样的错误。将这种情况简化为单个UpdateRecord处理器，该处理器读取带有数字属性的JSON，并使用

myprop : /data/5836c846e4b0f28d05b40202

映射。仍然相同的错误:(

Answer 1

它不允许以数字开头的有效JSON属性？

这个bug NiFi-4612在NiFi-1.5版本中修复了，我们可以使用AvroSchemaRegistry来定义您的模式并更改

验证字段名称

false

然后我们可以有以数字开头的avro模式字段名称。

有关更多详细信息，请参阅此链接。

有没有一种方法可以读取任意有效的批量JSON输入，比如多行形式？

在NiFi-1.7中修复了这个错误NiFi-4456，如果您没有使用这个版本的NiFi，那么我们可以使用以下方法创建一个带有< code >，(逗号分隔符)的json消息数组。

流量：

1.SplitText //split the flowfile with 1 line count
2.MergeRecord //merge the flowfiles into one
3.ConvertRecord

关于这个特殊问题的更多细节，请参考这个链接(我已经解释了流程)。