使用ConsumeKafka (NIFI)读取Avro缓冲区编码的消息
我是NIFI的新手（对Kafka没有太多经验），我正在尝试使用制作人正在生成的消息。为了完成这项工作，我在NIFI上使用ConsumerKafka处理器。
消息正在到达（我可以在队列中看到它们），但是当我检查队列并尝试查看消息时，我只能看到十六进制格式的内容（f. e：在原始格式中，我可以看到一条消息，上面写着：没有查看器注册此内容类型）。
生产者发送的消息是编码的 avro 缓冲区（这是我获取的参考：https://blog.mimacom.com/apache-kafka-with-node-js/）当我从控制台检查消费者时，每条消息都有以下格式：
02018-09-21T08:37:44.587Z @02018-09-21T08:37:44.587Z @
我读过处理器Update记录可以帮助将十六进制代码更改为纯文本，但我无法做到这一点。
如何配置此更新记录处理器？
骗子
共有1个答案
-
< li >不要使用< code>ConsumeKafka，最好使用适合您正在使用的Kafka版本的< code>ConsumeKafkaRecord处理器，并用< code>AvroReader配置< code >记录读取器，并将< code >记录写入器设置为您选择的写入器。 < li >完成后，您必须使用架构注册表配置< code>AvroReader控制器服务。您可以使用< code > avroschemarregistry 来指定您在Kafka中接收的Avro消息的模式。
快速浏览本教程将帮助您实现所需的目标：https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries
-
我的目标是用扩展名解析协议缓冲区文件。pb。一串在Mac上使用自制软件下载Protobuff。运行protoc--版本，并具有libprotoc 3.1.0版本。 但当我运行Python时，它会说找不到模块。我改变了主意。pb文件名到\u pb2。py并在Python脚本中导入模块。 我正在使用谷歌文档，但仍然没有任何运气。我在编译Protobuf时也遇到了问题。so文件通过Python。我只是无
-
标准的ApacheNIFI读写器似乎只能解析基于Avro模式的JSON输入。 Avro模式对JSON有限制，例如它不允许以数字开头的有效JSON属性。 JoltTransformJSON处理器在这里可以有所帮助(它没有对输入JSON可能的样子施加Avro限制)，但似乎这个处理器不支持批处理流文件。它也不是基于读者和作者(也许正因为如此)。 是否有方法读取任意有效的批处理JSON输入，例如多行格式
-
问题内容： 我正在尝试从FTP服务器读取文件。该文件是一个文件。我想知道在套接字打开的情况下是否可以对此文件执行操作。我试图按照什么分两个问题，提到的阅读文件，而不写入磁盘和读取从FTP文件，而无需下载，但没有成功。 我知道如何提取下载文件上的数据/工作，但不确定是否可以即时执行。有没有一种方法可以连接到站点，在缓冲区中获取数据，还可以提取某些数据并退出？ 尝试StringIO时出现错误： 我只需
-
本文向大家介绍Java缓冲读取器，包括了Java缓冲读取器的使用技巧和注意事项，需要的朋友参考一下 示例 介绍 该BufferedReader班是以外的包装Reader是有两个主要目的类： ABufferedReader为包装的提供缓冲Reader。这允许应用程序一次读取一个字符，而不会产生过多的I / O开销。 一个BufferedReader用于一次读取文本行提供的功能。 使用Buffered
-
当我们通过KSQL创建AVRO消息并试图使用Kafka Connect来消费这些消息时，会发生一些奇怪的事情。有点上下文： 源数据一个第三方提供商在我们的一个Kafka集群上以JSON的形式生成数据（到目前为止，还算不错）。我们实际上看到了数据。 数据转换由于我们的内部系统要求在AVRO中对数据进行编码，我们创建了一个KSQL集群，通过在KSQL中创建以下流将传入数据转换为AVRO： 随着偏移量的
-
问题内容： 在编写用于OpenGL库的Matrix类时，我遇到了一个问题，即使用Java数组还是使用Buffer策略存储数据（JOGL为Matrix操作提供直接缓冲区复制）。为了对此进行分析，我编写了一个小型性能测试程序，该程序比较了Arrays vs Buffers和Direct Buffers上循环和批量操作的相对速度。 我想在这里与您分享我的结果（因为我发现它们很有趣）。请随时发表评论和/或
-
问题内容： 为了寻求帮助，我目前已编写了HTTP服务器。目前，它可以很好地处理GET请求。但是，在使用POST时，缓冲的读取器似乎挂起。当请求停止时，其余输入流将通过缓冲的读取器读取。我在Google上找到了一些东西。我尝试将CRLF和协议版本从1.1更改为1.0（浏览器会自动将请求发送为1.1），任何想法或帮助将不胜感激。谢谢 问题答案： 这不安全！但是显示了如何在初始HTTP标头之后的输入流中
-
我有一个二进制数据缓冲区，我想存储在协议缓冲区中。 在留档（https://developers.google.com/protocol-buffers/docs/proto#scalar）中，它说类型等价于C中的。我无法相信这一点，所以我不得不尝试它，是的，这似乎是这样... 本协议： 给出一个包含以下内容的消息定义： 公共setter/getter API如下所示： 当然，这不是在消息中存储二