当前位置: 首页 > 知识库问答 >
问题:

如何将NATS流媒体服务器与Apache flink结合使用?

胡向阳
2023-03-14

我想使用NATs流式服务器来流式传输数据,并使用Flink来处理数据。

如何使用apache flink使用NATS流媒体服务器处理实时流媒体数据?

共有1个答案

葛越泽
2023-03-14

您需要找到或开发Flink/NATS连接器,或将数据镜像到已经支持Flink的其他流存储服务中。Flink、Apache Bahir或Flink社区包集合中的连接器中没有NATS连接器。但是如果你四处搜索,你会在github上找到一些相关的项目,等等。

在评估连接器实现时,除了通常考虑的因素外,考虑这些因素:

  • 它是否同时提供消费者和生产者界面
  • 它有检查点吗
  • 它提供什么样的处理保证?(至少一次,正好一次)
  • 错误处理有多好
  • 性能:例如,是否以某种方式批处理写入
  • 它如何处理序列化
  • 它是否公开了任何指标

如果您决定编写自己的连接器,可以使用类似系统的现有连接器作为参考,例如Nifi、Pulsar等。您应该知道数据源使用的接口目前正在FLIP-27的保护下重构。

 类似资料:
  • 我有以下代码来计算socketTextStream中的单词。累积字数和时间窗字数都是必需的。该程序存在累积计数始终与窗口计数相同的问题。为什么会出现这个问题?根据加窗计数计算累积计数的正确方法是什么?

  • 我在没有nat网关/互联网接入的vpc中部署了一些功能。目标:通过SES从该功能发送电子邮件(在vpc中) 我已经尝试使用公共私有子网与nat网关发送电子邮件,它工作正常。但是我正在尝试使用它vi VPCendpoint。我已经创建了一个电子邮件vpcendpoint,但不确定如何配置它在serverless.yml.已经尝试设置配置如 中所述https://www.serverless.com/

  • Usecase:使用EventTime并从Kafka的记录中提取时间戳。 我想要的是:Flink提取时间戳并在初始间隔(例如20秒)内为每条记录发出水印,然后它可以周期性地发出水印(例如每10秒)。 原因:如果我使用PeriodicWatermark,开始时Flink只会在一段时间间隔后发出水印,并且我的第一个窗口(5分钟)中的计数是错误的-比后续窗口中的计数大得多。我有一个解决办法,将自动水印间

  • 这是因为检查点只存储了其中一个数据流的偏移量吗?浏览Spark结构流文档,似乎可以在Spark 2.2或>中进行流源的联接/联合

  • 本文向大家介绍利用nginx与ffmpeg搭建流媒体服务器过程详解,包括了利用nginx与ffmpeg搭建流媒体服务器过程详解的使用技巧和注意事项,需要的朋友参考一下 需求 本文介绍的是利用nginx和ffmpeg搭建流媒体服务器的过程。例如这种场景:公司内部需要同时观看在线直播时,如果每个人直接观看必然给出口带宽带来压力,影响正常访问外网的同事。所以可以在内网通过nginx+ffmpeg拉一路直

  • 在Go语言的gRPC中提供双向流时,规范流处理程序如下所示: 具体来说,当Bidi RPC的处理程序返回时,即考虑服务器端关闭的信号。 这是一个同步编程模型——在等待来自客户端的消息时,服务器在这个goroutine(由grpc库创建)中保持阻塞状态。 现在,我想取消阻止这个Recv()调用(最终在底层grpc上调用RecvMsg()。ServerStream),并返回/关闭流,因为服务器进程已决