我正在构建一个事件驱动的微服务架构,它应该是云不可知的(尽可能多)<由于这最初是在GCP中进行的,我不想在配置和所有这些方面花费太长时间,我打算直接将GCP的发布/订阅用于事件队列,并在稍后处理其他云实现,但后来我遇到了Spring云数据流,这看起来很好,因为这些是Spring Boot微服务,我需要一种方法来协调它们
首先对Spring云流的“绑定抽象”进行解包是很有用的,因为它使用了这个框架,您将拥有一个可移植的事件驱动流应用程序,它可以在您的笔记本电脑或您选择的任何云上本地运行,以对抗所需的消息代理。
在这里了解更多关于活页夹抽象的信息。以下是所有可用的绑定器实现。Google PubSub是一个选项,由Google在此处维护。
现在,我们来谈谈Spring云数据流(SCDF)。一旦构建了流应用程序,就可以使用SCDF来设计和创建由此类应用程序组成的数据管道。我们可以选择混合和重用我们构建、维护和发布的实用程序应用程序集合。实用程序应用程序可以与Google PubSub或其他活页夹打包。这里有更多详细信息。
当您部署数据管道时,SCDF将解析并下载各个应用程序,以在Kubernetes或Cloud Foundry等平台上本地部署它们。我们在各种云基础设施(虚拟机、裸机、EC2、机架空间等)中也有用户这样做,包括DIY平台。
在自动化应用程序部署的同时,SCDF将根据源于流/任务和应用程序名称的命名约定(作为组合)自动化配置设置。因此,当应用程序引导时,它们会自动接收连接配置(来自SCDF)和要连接的目标/主题,以及其他元数据,以通过应用程序集合作为“流”或“任务/批处理”数据管道进行推理。这允许您集中监视和管理管道。
最后,SCDF具有滚动升级/滚动降级1或数据管道中的许多应用程序的本地能力,而不会影响生产中的上游或下游消费者。这里有更多细节。有一个关于如何使用CI/CD自动化的网络研讨会记录(演示从大约41.25开始)。
我使用的是Spring Cloud Edgware和Spring Cloud DataFlow 1.2.3。 我在contentType和originalContentType上遇到了问题,尽管我有一个解决方案,但我不明白为什么需要它。 现在需要在datasink和另一个rabbit Sink之间引入一个桥梁。新的桥流很简单: 兔源兔库 其中rabbit-source从前面提到的DataLink中
我在这个网站上用docker compose启动了Spring云数据流。 https://dataflow.spring.io/docs/installation/local/docker/ 我创建了3个应用程序,源,处理器 我跑了 当我运行docker compose-f时/docker编写。yml-f/docker创作普罗米修斯。yml,所有我的容器都按照docker compose中的指定启
我正在用Spring Cloud数据流实现一个流管道。 我的问题是,我手动配置了服务器中的管道(例如),如果我重置该服务器,它将丢失(以Amazon EC2实例为例,该实例可以硬重置)。
我一直在阅读大量Spring Cloud DataFlow和相关文档,以便生成一个将在我的组织的云铸造部署中运行的数据摄取解决方案。目标是轮询HTTP服务中的数据,可能每天轮询三次,以便进行讨论,并在PostgreSQL数据库中插入/更新该数据。HTTP服务似乎每天提供10s数千条记录。 到目前为止,一个困惑点是数据流管道上下文中用于删除轮询记录的最佳实践。源数据没有帮助跟踪轮询的时间戳字段,只有
我很难理解GCP数据流/Apache Beam和Spring Cloud数据流之间的差异。我试图做的是转向一个更云原生的解决方案,用于流数据处理,这样我们的开发人员可以更专注于开发核心逻辑,而不是管理基础设施。 我们有一个现有的流解决方案,由Spring云数据流“模块”组成,我们可以独立迭代和部署,就像微服务一样,效果很好,但我们希望迁移到我们的业务提供的GCP现有平台,要求我们使用GCP数据流。
我有一个现有的过程,我正试图转换成SCDF实现。目前的流程是, HTTP接收器(接收HTTP POST数据)->RabbitMQ->MQ接收器服务->处理/转换->DB接收器