《流处理》专题
-
以编程方式停止BlockingQueue上同步的Spring批处理并行流
我有一个spring批处理作业，基本上从文件读取、处理每一行并写入输出（另一个文件）。由于处理步骤成本高昂，我希望它在多个线程中运行，但由于读取和写入步骤使用文件，因此这些步骤必须在单个线程上运行。我最终有3个流，每个流并行运行，每个流有一个步骤，在2个阻塞队列上同步。读取步骤从文件中读取并写入一个队列。处理步骤是多线程的，从队列中读取、处理并写入另一个队列。写入步骤，从第二个队列读取并将输出写入
-
使用as端输出数据流时，Flink如何处理延迟事件？
在我看来，Flink以三种方式处理后期事件： 窗口过期时删除延迟事件（默认）。 通过使用“允许延迟”机制包含延迟事件来更新窗口。 使用“侧输出”机制将延迟事件重定向到另一个DataStream。 让我们假设我有一个事件时间作业，它使用来自Kafka的数据，并每5分钟处理一个窗口。现在，假设我将延迟事件重定向到另一个数据流中。 这个新的数据流是独立的吗 谢谢大家！
-
使用单表设计的Dynamodb流-仅处理特定的项目类型
我一直在使用Dynamodb作为数据库构建一个无服务器应用程序，并且一直遵循单表设计模式（例如https://www.alexdebrie.com/posts/dynamodb-single-table/）。我开始遇到的问题是使用Dynamodb流——我希望能够使用Dynamodb流来保持Elasticsearch实例的最新状态。 在单个dynamodb表容纳大约10种不同类型的项目（将继续扩展）
-
Kafka-Spark流对是否可以同时用于批处理+实时数据？
H全部, 如果有人有任何经验的kafka-spark流对处理各种数据，请给我一个简短的细节，如果这是一个可行的解决方案，并比有两个不同的管道更好。 提前道谢！
-
Spark SQL ：使用 Kafka 订阅模式选项进行结构流式处理
我正在尝试使用Kafka的Spark SQL结构流。我正在为kafka选项寻找这个强制选项subscribePattern[Java正则字符串]。显然，只有3个值是可能的：“赋值”、“订阅”或“订阅模式” 当我搜索这个选项时，最有用的信息如下:https://jaceklaskowski . git books . io/mastering-Apache-spark/content/spark-s
-
流量管理 - 控制Egress流量
缺省情况下，启用了Istio的服务是无法访问外部URL的，这是因为Pod中的iptables把所有外发传输都转向到了Sidecar代理，而这一代理只处理集群内的访问目标。 本节内容会描述如何把外部服务提供给启用了Istio的客户端服务使用，你会学到如何使用Egress规则访问外部服务，或者如何简单的让特定IP范围穿透Istio代理。 开始之前 遵循安装指南设置Istio 启动sleep示例，用于测
-
“QueryFailedError{消息：工作流必须至少处理一个决策任务才能查询}”尝试运行工作流时
当我试图启动一个工作流(并查询它的init)时，我得到了上述错误。我花了一段时间来了解事物的名称——读完这篇文章后，我更清楚什么是决策任务，但是我想我仍然有点迷失在术语中。因此，我认为在我的案例中，决策任务需要的时间超过1秒(queryFirstDecisionTaskWaitTime)。这个等待时间是否可以配置？有人遇到过类似的问题吗？
-
输出流处的服务器-客户端通信失败
我的程序基本上是： > 客户端向服务器发送字符串， 基于这个字符串，服务器正在创建一个ArrayList， ArrayList 被发送回客户端。 这里失败的是: 客户端发送字符串后，服务器会收到它，并且不执行任何其他操作。在这段时间里，客户端继续工作并得到一个空指针。 客户端: } 服务器端:
-
Kafka流控制流
我有一个关于kafka流应用程序中的控制流的基本问题。如果有两个源主题 我做了一个非常初步的测试，当记录被消费时，我偷看了一下，然后用一个简单的速溶软件打印了它们被处理的瞬间。现在 这些是主题中记录的开始和结束时间戳 主题B记录在主题A之前提取。Sysout显示主题B中的所有记录。有人能帮助理解这一点吗？我希望在编写具有多个输入源的流式应用程序时使用这种理解。 提前感谢
-
如何使用OpenCV和Python在视频流中逐帧处理视频图像
问题内容： 我是OpenCV的初学者。我想对要上传到服务器的视频帧进行一些图像处理。我只想读取可用的框架并将它们写入目录中。然后，等待视频的另一部分上载并将帧写入目录。并且，我应该等待每个帧都完全上传，然后将其写入文件。 您能告诉我如何使用OpenCV（Python）吗？ 编辑1： 我编写了这段代码，用于从文件中捕获视频，而新数据将附加在文件末尾。换句话说，该文件不是完整的视频，并且另一个程序正在
-
通过流式处理和过滤为带条件的循环进行转换
我想翻译方法做完全相同的，但使用流和过滤，如果必要的话 我正在学习使用流，所以我不知道如何实现这一点。到目前为止，我已经做了以下工作： 很明显，我得到了一个字符串列表，但是我不知道如何将它减少到只有一个元素（该列表没有超过一个元素），如果没有找到元素，就会得到null。 此外，我得到了，我应该返回相应的TestState，而不是它的。
-
Spring Cloud Stream Responsive-如果是反应流管道，如何进行错误处理？
如何对反应流管道进行错误处理。喜欢 应用程序错误处理（例如：errorChannel） 系统错误处理（使用DLQ、再处理等） 当前文档仅描述了非反应性管道的错误处理。https://docs.spring.io/spring-cloud-stream/docs/Fishtown.BUILD-SNAPSHOT/reference/htmlsingle/#_application_error_hand
-
使用Apache Flink流处理缓冲转换后的消息（例如，1000计数）
我正在使用Apache Flink进行流处理。 订阅源消息（例如：Kafka、AWS Kinesis数据流）后，然后使用Flink操作符对流数据应用转换、聚合等，我想缓冲最终消息（例如：1000条），并在单个请求中将每个批发布到外部REST API。 如何在Apache Flink中实现缓冲机制（将每1000条记录创建为批处理）？ Flink Pipiline：流媒体源-- 感谢您的帮助！
-
如何利用OpenCV和Python在视频流中逐帧处理视频图像
下面是我的代码： 所以问题是调用！当没有框架时，它将返回！而且它不会再捕捉帧了，即使我等了很长时间。
-
如何暂停（打开/关闭）流处理W/Spring Cloud Streams&Kafka Streams绑定器？
到目前为止我试过什么？-使用/Actuator/Bindingsendpoint启动/停止kafka-streams绑定。这似乎不适用于Kafka-Streams活页夹，只适用于Kafka活页夹：（。 任何帮助都将不胜感激！谢了！