apache avro工具无法解码Logstash avro输出

Question

我是Logstash和Avro的初学者。我们正在建立一个系统，logstash作为Kafka队列的制作人。然而，我们遇到了这样一个问题：由Logstash生成的avro序列化事件无法由apache提供的avro工具jar（版本1.8.2）解码。此外，我们注意到Logstash和avro工具的序列化输出有所不同。

我们有以下设置：

• logstash 5.5版
• logstash avro编解码器版本3.2.1
• Kafka版本0.10.1
• avro tools jar 1.8.2版

例如，考虑以下模式：

{
"name" : "avroTestSchema",
"type" : "record",
"fields" : [ {
  "name" : "testfield1",
  "type" : "string"
  },
  {
  "name" : "testfield2",
  "type" : "string"
  }
]
}

和以下json字符串：

{"testfield1":"somestring","testfield2":"anotherstring"}

当使用Logstash序列化时。日志存储配置文件：

input {
  stdin {
    codec => json
  }
}

filter {
 mutate {
    remove_field => ["@timestamp", "@version"]
  }
}

output {
  kafka {
    bootstrap_servers => "localhost:9092"
    codec => avro {
      schema_uri => "/path/to/TestSchema.avsc"
    }
    topic_id => "avrotestout"
  }
  stdout {
    codec => rubydebug
  }
}

输出（使用cat）：

FHNvbWVzdHJpbmcaYW5vdGhlcnN0cmluZw==  

使用avro工具进行序列化时。命令：

java -jar avro-tools-1.8.2.jar jsontofrag --schema-file TestSchema.avsc message.json

输出

somestringanotherstring

命令：

java -jar avro-tools-1.8.2.jar fromjson --schema-file TestSchema.avsc message.json

输出：

Objavro.codenullavro.schema▒{"type":"record","name":"avroTestSchema","fields":[{"name":"testfield1","type":"string"},{"name":"testfield2","type":"string"}]}▒▒▒▒&70▒▒Hs▒U2somestringanotherstring▒▒▒▒&70▒▒Hs▒U

所以我们的问题是：我们如何配置Logstash以使输出与apache avro-tools jar兼容？

更新：我们发现logstash生成的avro输出是base64编码的。但是，我们无法找到发生这种情况的地方，以及如何使其与avro工具兼容

Answer 1

正如更新中提到的，我们发现标准Logstash Avro编解码器在Avro输出中添加了非可选的base64编码。我们发现这是不可取的。因此，我们分叉了编解码器，并使这种编码可配置。我们对此进行了测试，并在我们的几个系统上实现了开箱即用。

github上提供了fork：https://github.com/Rubyan/logstash-codec-avro

要设置（或取消设置）base 64编码，请将其添加到您的logstash配置文件中：

output {
     stdout {
        codec => avro {
            schema_uri => "schema.avsc"
            base64_encoding => false
        }
    }
}