当前位置: 首页 > 知识库问答 >
问题:

从GCP控制台将Pub/Sub的自定义寡妇持续时间设置为Cloud Storage数据流上的文本文件

柯昱
2023-03-14

我正在尝试从GCP控制台在云存储数据流模板上实现文本文件的发布/订阅,自定义窗口持续时间为1hr,而不是5min(默认值)。

任何建议都会大有裨益。非常感谢。

共有2个答案

莫典
2023-03-14

由于前面已经提到,当使用谷歌提供的数据流模板时,无法更改与引入的运行时参数不同的管道参数,您可以考虑使用特定的发布/订阅到云存储文本模板:

>

  • 克隆模板源,将其集成到您自己的本地Beam项目中,并调整所需默认参数的自定义:

     @Default.String("1h")
     String getWindowDuration();
     void setWindowDuration(String value)
    

    >

  • 克隆源管道代码并在ValueProvider接口中预定义窗口持续时间的运行时参数:

    ValueProvider<String> getWindowDuration(); void
    setWindowDuration(ValueProvider<String> value);
    

  • 萧伟兆
    2023-03-14

    通过GUI,这似乎是不可能的。但是,如果您直接在github上使用模板,那么您有一个用于此的参数。

    新版本的推出可能很快就会完成,但在紧急情况下,您可以直接使用Java代码。

     类似资料:
    • 我正在构建一个事件驱动的微服务架构,它应该是云不可知的(尽可能多)<由于这最初是在GCP中进行的,我不想在配置和所有这些方面花费太长时间,我打算直接将GCP的发布/订阅用于事件队列,并在稍后处理其他云实现,但后来我遇到了Spring云数据流,这看起来很好,因为这些是Spring Boot微服务,我需要一种方法来协调它们 Spring Cloud数据流是否支持Pub Sub作为事件队列? 在配置和设

    • 一旦被dataflow读取的消息就不会得到确认。我们如何确保一旦被数据流消费的消息被确认,并且对任何其他订阅者不可用? 为了重现和测试它,从同一个模板创建2个作业,您将看到这两个作业处理相同的消息。

    • null null null 我的问题是:如何使用自定义时间戳处理数据,并能够在使用Beam API定义的windows上操作?

    • 我曾经使用过SpringCloudDataFlow、rabbitmq和kafka,但我想知道是否可以使用GooglePub/sub安装scdf。 我不想创建一个流(新的应用程序spring cloud stream),将源或接收器连接到gcp,我希望google pub/sub over spring cloud data flow server用作中间消息代理。 有什么建议吗?

    • 如果我想发送消息到谷歌PubSub并使用它的消息。您建议使用Spring cloud GCP库还是只使用Google cloud Java API。 有人能区分这两者吗?或者与谷歌云pubsub库相比,Spring Cloud gcp提供了哪些功能。

    • 在我的应用程序中,用户需要能够输入持续时间,包括分钟和秒。 我正在考虑使用Windows中的控件来更改时间,虽然我只需要几分钟和几秒钟,而且箭头也很好,但不是必需的。 JavaFX 2中是否已经有此控件 如果没有,我如何创建这样的控件 上述Windows控件的屏幕截图: 谢谢你的提示!