当前位置: 首页 > 知识库问答 >
问题:

从flink集群外部访问flink状态的方法有哪些?

徐新荣
2023-03-14
TestEvent{
 String id,
 DateTime created_at,
 Long amount
} 

PS:我们可以将flink状态存储在dynamoDB中,并在那里创建一个API吗?还是以任何其他方式坚持和向外部世界揭露国家?

共有1个答案

朱海超
2023-03-14

我建议现在忽略状态,而将接收器作为流应用程序输出结果的主要方式。

如果您已经使用Kinesis进行输入,您也可以使用Kinesis输出Flink的结果。然后,您可以使用AWS提供的DynamoDB的Kinesis适配器,如在相关的stackoverflow帖子中进一步描述的。

回到您最初的问题:您可以查询Flinks状态并将REST API与您的流应用程序一起提供,但这是一大堆工作,并不需要实现您的目标。您还可以通过state API访问checkpoint/savepointed状态,但这仍然是相当多的手工工作,可以通过上面概述的通常路线来保存。

 类似资料:
  • 一、部署模式 Flink 支持使用多种部署模式来满足不同规模应用的需求,常见的有单机模式,Standalone Cluster 模式,同时 Flink 也支持部署在其他第三方平台上,如 YARN,Mesos,Docker,Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的部署。 二、单机模式 单机模式是一种开箱即用的模式,可以在单台服务器上运行,适用于

  • 问题内容: 我想使用React.js制作一个应用程序。我希望它可以轻松地从外部进行自定义(例如,通过编写用户脚本)。我尝试使用的想法是在根元素状态(如或)中创建一些特殊的属性,以便插件开发人员可以在此处添加一些内容。我的问题是:这是否是一个好方法,是否有Right Way™实现与我的目标相似的目标,最后,插件开发人员将如何使用这些道具? 问题答案: 一种选择是可观察的。基本上,它是一个对象,您可以

  • 我是Flink的新手,目前正在测试用例框架,该用例包含丰富来自Kafka的事务,并具有许多历史特征(例如,相同源和相同目标之间过去的事务数),然后使用机器学习模型对该事务进行评分。 目前,功能都保留在Flink状态中,同一个工作是对丰富的事务进行评分。但是我想将特征计算工作与评分工作分开,我不知道如何做到这一点。 > 我曾想过直接查询RocksDB,但也许有更简单的方法? 对Flink来说,将这项

  • 我正在编写一个Flink应用程序,它使用kafka主题中的时间序列数据。时间序列数据包含度量名称、标记键值对、时间戳和值等组件。我已经创建了一个滚动窗口来根据度量键(度量名称、键值对和时间戳的组合)聚合数据。这里是主流看起来像 我还想检查是否有任何指标在上面的窗口外迟到。我想检查有多少指标延迟到达,并计算延迟指标与原始指标相比的百分比。我正在考虑使用flink的“允许延迟”功能将延迟指标发送到不同

  • 我对Flink和库伯内特斯是新手。我计划创建一个flink流作业,将数据从文件系统流到Kafka。 使用工作正常的flink job jar(本地测试)。现在我正试图在kubernetes主持这项工作,并希望在AWS中使用EKS。 我已经阅读了有关如何设置flink群集的官方flink文档。https://ci.apache.org/projects/flink/flink-docs-releas

  • https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/state/state.html#state-time-to-live-ttl 我想确定TTL特性启用的位置,是在key字段上还是在value字段上。特别是,假设我有一个像这样的mapState结构: 如果我要通过StateTtlConfig在mapStat