如何在Java中实现Apache Storm的HTTP Spout？

Question

我最近开始使用Apache Storm，刚刚完成了我的第一个拓扑结构的构建（全部用java）。

作为下一步，我想将连接到树莓派的 TI 传感器标签中的传感器值放在这些拓扑中。

我可以通过HTTP发送传感器数据，但我不确定如何实现接收这些请求的工作spout。

拓扑的想法：它应该接收带有传感器值信息的HTTP请求，将这些数据发送到拓扑中，然后使用螺栓将它们写入文件/数据库。

到目前为止，我在Stackoverflow上找到了一个关于HTTP-Spout (Storm : Spout，用于从端口读取数据)的帖子，但遗憾的是，我不允许发表评论或写任何私人消息(如果我错过了一些内容，很抱歉)。我不知道这个喷口是如何工作的，想问一个例子-代码。(基本上，我想知道整个事情是如何在拓扑中设置的)。

我还尝试使用storm的DRPC功能(http://Storm . Apache . org/releases/1 . 0 . 0/Distributed-RPC . html)将我的HTTP请求放入拓扑中，但是到目前为止，我还不能进一步浏览文档和storm-starter示例，因为我还在学习如何正确使用Storm。我对设置drpc-server以及如何配置对传入请求的监听感到非常困惑。

所以我想知道，如果有人也面临这个问题，并找到了解决方案或可以给我建议，我还可以尝试什么。

这样的HTTP输出（据我所知，是一个套接字连接吗？！）还是DRPC服务器工作？

还有一个代码模板、其他示例或任何其他信息来源，这对理解该主题很有帮助！

Answer 1

Storm-sport通常从数据源中提取数据，所以您所谈论的并不常见。这就是为什么Chris提到使用像Kafka这样的排队产品作为Storm和Pi之间的缓冲区。

也许有可能在Storm喷嘴内做你所说的。问题是当你开始从一台机器扩展到多台机器时，因为你的Pi不知道Storm工作线程在哪些节点上运行，因此不知道HTTP服务器在哪里侦听。

我建议从简单的开始。这是我写的一个简单的WordCount拓扑，你可以在机器上本地运行：Storm-stlhug-demo。

要开始，至少在Storm之外运行服务器：

1. Pi将HTTP发布到HTTP服务器
2. HTTP服务器将有效负载写入数据目录中的文件
3. Storm Spout轮询数据目录并处理文件

Answer 2

相反，我会编写一个 servlet 来使用这些 HTTP 请求，并在收到请求时将相关信息写入 Kafka。然后，您可以使用 Kafka 喷嘴（我会编写自己的喷嘴，但这是一个完全不同的问题）来读取该数据并将其发送到您的拓扑中。使用 Kafka 作为中间暂存位置的主要好处是能够通过重置已提交的 Kafka 偏移量来重播数据。