调度器

优质

小牛编辑

125浏览

2023-12-01

Storm 现在有 4 种内置的 schedulers（调度器）: DefaultScheduler, IsolationScheduler, MultitenantScheduler, ResourceAwareScheduler.

Pluggable scheduler（可插拔的调度器）

你可以实现你自己的 scheduler（调度器）来替换掉默认的 scheduler（调度器），自定义分配executors 到 workers 的调度算法. 使用的时候，在storm.yaml 文件中将 "storm.scheduler" 配置属性设置成你的class类, 并且您的 scheduler（调度器）必须实现 IScheduler 接口。

Isolation Scheduler（隔离调度器）

solation scheduler（隔离调度器）使得多个topologies（拓扑）共享集群资源更加容易和安全. isolation scheduler（隔离调度器）允许你指定某些 topologies（拓扑）是 “isolated”（隔离的），这意味着这些 solated topologies（隔离的拓扑）运行在集群的特定机器上，这些机器没有其他 topologies（拓扑）运行。 isolated topologies（隔离的拓扑）具有高优先级，所以如果和 non-isolated topologies（非隔离的拓扑）竞争资源，资源将会分配给 isolated topologies（隔离的拓扑），如果必须给 isolated topologies（隔离的拓扑）分配资源，那么将会从 non-isolated topologies（非隔离的拓扑）中抽取资源。一旦所有 isolated topologies （隔离的拓扑）所需资源得到满足，那么集群中剩下的机器将会被 non-isolated topologies（非隔离的拓扑）共享。

您可以通过将 "storm.scheduler" 设置为 "org.apache.storm.scheduler.IsolationScheduler" ，这样 Nimbus 节点的 Scheduler 就配置为 Isolation Scheduler（隔离调度器）. 然后, 使用 "isolation.scheduler.machines" 配置来指定每个topology（拓扑）分配多少台机器. 这个配置是从 topology name（拓扑名称）到分配给此 topology（拓扑）的隔离机器数量的 map 集合. 例如:

isolation.scheduler.machines: 
    "my-topology": 8
    "tiny-topology": 1
    "some-other-topology": 3

提交到集群中的topologies 如果没有出现在上述 map 集合中，那么将不会被 isolated 。请注意：user不可以设置 isolation 属性,该配置只能通过集群的管理员分配（这是故意这样设计的）。

isolation scheduler（隔离调度器）通过在拓扑之间提供完全的隔离来解决多租户问题 - 避免 topologies（拓扑）之间的资源竞争问题. 最终的目的是 "productionized（生产黄精的）" topologies（拓扑）应该设置成 isolated , 测试或开发中的 topologies（拓扑）不应该设置成 isolated 属性. 集群上的剩余机器可以为 isolated topologies（隔离的拓扑）提供故障切换，也可以用来运行 non-isolated topologies（非隔离的拓扑）.