Apache Storm可以用来处理具有动态属性集的元组吗？

Question

{type=LogTransaction,timestamp=...,user=...,duration=...}
{type=LogEvent,timestamp=...,user=...,message=...}

public void declareOutputFields(OutputFieldsDeclarer ofd) {
    ofd.declare(new Fields("type", "attributes"));
}

然而，我相信在这一点上，Storm的许多更高级的功能将不再正常工作。例如，根据我的理解，我不能再使用Trident对任何属性执行groupby。

有没有更好的方法来处理我在Apache Storm中错过的这类数据？我发现这篇文章描述了一个类似的问题，但是我希望避免为每个数据类型创建一个Java类。

Answer 1

您可以使用您自己的自定义字段，只要字段是可序列化的，那么在storm中使用多个Supervisor就可以很好地工作。

由于storm是一个分布式数据处理工具，并且当存在多个supervisor时，基于分组，某些bolt将向运行在不同supervisor上的bolt发出字段。在这种情况下，输出字段将被序列化并通过网络发送。这种序列化可以是常规java序列化或Kryo序列化（以避免网络延迟）。

因此，如果jvm不能序列化输出字段，您可能会遇到异常。