通过spark streaming或flume将Xml转换为Avro，从Kafka转换为hdfs

Question

我想将xml文件转换为avro。数据将采用xml格式，并将首先触及Kafka主题。然后，我可以使用flume或spark streaming来摄取xml并将其转换为avro，然后将文件放在hdfs中。我有一个cloudera环境。

当avro文件到达hdfs时，我希望能够稍后将它们读入hive表。

我想知道做这件事最好的方法是什么？我尝试过自动模式转换，比如spark avro（这没有spark流），但问题是spark avro转换数据，但hive无法读取。Spark avro将xml转换为数据帧，然后从数据帧转换为avro。avro文件只能由我的spark应用程序读取。我不确定我是否正确使用了这个。

我想我需要为avro模式定义一个显式模式。不确定如何对xml文件执行此操作。它有多个名称空间，而且相当庞大。

Answer 1

如果您在cloud dera上（因为您有Flume，请允许您拥有它），您可以使用吗啡线在记录级别进行转换。您可以使用批处理/流式传输。您可以在此处查看更多信息。