我正在使用Spark,Flink创建流式分析应用程序
我在简单的Scala应用程序中完美地运行Spark/Flink作业,并通过Spark提交此作业
如何整合我的Spark
到目前为止,我尝试了Lagom Microservice,但我发现了很多问题,您可以检查
我认为我没有为流处理微服务应用程序选择正确的方向。正在寻找正确的方向来通过REST服务实现此分析。
我认为REST API提供了作业运行细节,任何Flink API提供假设Spring Boot REST终端调用是否连接Kafka流数据,并返回Kafka数据?
Flink有一个REST API,可以用来提交和控制作业,它由Flink Web UI使用。请参见此处的文档。另请参见上一个问题。
我想在一个操作符中接收和处理三个流。例如,Storm中实现的代码如下: <代码>生成器。setBolt(“C\u螺栓”,C\u螺栓(),parallelism\u提示)。字段分组(“A\u bolt”,“TRAINING”,新字段(“word”))。字段分组(“B\U螺栓”,“分析”,新字段(“word”))。所有分组(“A\U螺栓”、“总和”) 在Flink中,实现了和的处理: 但我不知道如何添
接口说明 为上传完成的数据创建该数据的处理任务 API地址 POST /api/upload/1.0.0/createTask 是否需要登录 是 请求字段说明 参数 类型 请求类型 是否必须 说明 title string form 否 标题 position string form 否 位置(例如:'120,30,0') description string form 否 描述 dataGuid
我有一个特定的要求,其中,我需要检查空的数据文件。如果为空,则填充默认值。这是我尝试过但没有得到我想要的东西。 这个想法是,如果df不是空的,就得到它。如果为空,则填写默认值为零。这似乎不起作用。以下是我得到的。 请帮忙。
下面是我的流处理的伪代码。 上面的代码流程正在创建多个文件,我猜每个文件都有不同窗口的记录。例如,每个文件中的记录都有时间戳,范围在30-40秒之间,而窗口时间只有10秒。我预期的输出模式是将每个窗口数据写入单独的文件。对此的任何引用或输入都会有很大帮助。
如果每个事件间隔为1秒,并且有2秒的滞后,那么我希望示例输入和输出如下所示。 输入:1,2,3,4,5,6,7... 输出:NA,NA,1,2,3,4,5...
我的微服务架构中有几项服务。 其中两个服务(服务A、服务B)有不同的api,并提供不同的域逻辑。然而,它们确实共享一些应该从Redis返回的逻辑-用户状态。 当用户状态更改时,我正在从第三个服务发布到我的所有微服务 解决方案: > 我可以创建另一个服务,负责“用户状态”并将保存Redis上的所有用户数据。缺点:我的客户端将对每个api请求进行额外调用(以获取用户状态)。 为每个微服务复制用户状态数