Storm拓扑配置

Question

如何为storm拓扑提供自定义配置？例如，如果我构建了一个连接到MySQL集群的拓扑，并且我希望能够更改需要连接到哪些服务器而不需要重新编译，我将如何做到这一点？我更喜欢使用配置文件，但我担心文件本身没有部署到集群中，因此它不会运行（除非我对集群工作方式的理解有缺陷）。到目前为止，我所看到的在运行时将配置选项传递到storm拓扑的唯一方法是通过命令行参数，但当您获得大量参数时，这将是混乱的。

有一个想法是利用shell脚本将文件读入变量，并将该变量的内容作为字符串传递给拓扑，但如果可能的话，我想要一些更干净的东西。

Answer 1

您可以指定与拓扑一起提交的配置（通常通过yaml文件）。我们在自己的项目中如何管理这一点，是我们有单独的配置文件用于开发，一个用于生产，并在其中存储我们的服务器、redis和db IPs和端口等。然后，当我们运行命令构建jar并将拓扑提交给storm时，根据您的部署环境，它包括正确的配置文件。螺栓和喷口只需从stormConf映射中读取它们所需的配置，该映射在螺栓的prepare（）方法中传递给它们。

来自http://storm.apache.org/documentation/configuration.html：

Storm代码库中的defaults.yaml中定义了每个配置的默认值。您可以通过在Nimbus和Supervisors的类路径中定义一个storm.yaml来覆盖这些配置。最后，您可以定义一个特定于拓扑的配置，在使用StormSubmitter时随拓扑一起提交该配置。但是，特定于拓扑的配置只能重写前缀为“拓扑”的configs。

希望这能让你开始。