我们希望将我们所有的Spring云数据流任务和流部署修复到一组特定的节点。
我有一个样本任务,例如手动工作
task launch test-timestamp --properties "deployer.*.kubernetes.deployment.nodeSelector=env:development"
(与此处的文档相比,这并不明显https://docs.spring.io/spring-cloud-dataflow/docs/current/reference/htmlsingle/#configuration-kubernetes deployer似乎暗示关键在于节点选择器,而不是部署。节点选择器)
这将正确地将节点选择器添加到kubernetes的pod yaml中。
但我想这是自动设置ie使用<代码>任务。站台库伯内特斯。账户SCDF服务器配置中的默认属性。
我试过:
task.platform.kubernetes.accounts.default.deployment.nodeSelector: env:development
和
task.platform.kubernetes.accounts.default.nodeSelector: env:development
但两者似乎都不起作用。正确的配置方法是什么?
对于通过skipper的流部署,同样的问题。
另外,我如何为计划任务设置此设置?
很抱歉,您必须尝试一些选项才能找到真正有效的正确部署器属性。
一般来说,在SCDF的Shell/UI中,部署者
令牌是spring.cloud.deployer.kubernetes
属性的缩写形式。当您在流/任务中配置更多部署者属性时,这是一个重复的事情,因此我们有一个缩写形式。
但是,nodeSelector
不是默认的部署者级别属性。它仅作为部署级别属性可用,因此这意味着它仅作为每个部署基础的选项可用。
换句话说,它不能作为“全局”配置的选项,这就是为什么任务。站台库伯内特斯。账户违约部署。没有考虑节点选择器:env:development。对于通过Skipper的流也是如此。
不过,这是可以改进的。我创建了spring cloud/spring cloud deployer kubernetes#300用于跟踪-请随意订阅通知。然后,流和任务都应该能够利用它作为全局配置。一旦PR被合并,您应该能够使用SCDF的2.2.0进行尝试。构建快照图像。
至于K8s调度器实现,我们还不支持节点选择器。我创建了spring cloud/spring cloud调度程序kubernetes#25-如果您想从K8s deployer移植功能,我们可以在PR上进行协作。
我需要自己在主服务器上安装Spring Cloud数据流的实例吗,还是作为部署的一部分“自动”安装? 这一点在http://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-snapshot/reference/htmlsingle/#_deploying_streams_on_kubernetes的描述中并不十
我有一个从流-任务-启动器-数据流调用的组合任务 我将流处理器中的几个属性传递给任务启动器数据流和子任务,例如。。。 这可以正常工作,但我已经达到了最大字符限制,并在组合任务pod上得到一个sql异常,说明我已经超过了2500个字符的限制。我想为所有任务而不是单独设置属性以节省字符空间,但使用通配符不起作用 有没有办法为所有任务设置属性,而不必单独设置? 我尝试在kubernetes中的Sprin
我试图了解运行批处理任务时通过Spring Cloud数据流WRT数据源配置的预期行为。 Spring批处理数据库表(Batch\u JOB\u EXECUTION等)是否在SCDF数据库本身中?当通过SCDF启动任务时,似乎发生了一些神奇的事情,它在SCDF数据库中创建了这些表,并似乎在使用它们。它似乎正在将SCDF数据源注入我的应用程序? 我目前在localhost服务器版本2.0.1上运行。
我在Openshift集群上安装了一个Spring Cloud数据流。我尝试注册一个应用程序,然后创建一个任务,一切都很好,但当我试图安排任务时,我遇到了以下异常: 我不知道这是什么意思,我是Dataflow的新手。我不明白为什么他试图使用Maven而不是kubernetes部署器,也不明白为什么我会出现这个错误。有人能再给我解释一下吗? 顺便说一句,我将这些应用程序注册为docker容器。
我有一个现有的过程,我正试图转换成SCDF实现。目前的流程是, HTTP接收器(接收HTTP POST数据)->RabbitMQ->MQ接收器服务->处理/转换->DB接收器