《流处理》专题

注意：本文是为v1 API编写的，但这些概念也适用于v2 API。它将在未来版本的v2 API中重新描述。 Envoy路由器支持将流量分发到两个或更多上游虚拟主机群集的路由。有两种常见的场景。 版本升级：到一条路由的流量逐渐从一个集群转移到另一个集群。更详细地描述参见流量转移部分。 A/B测试或多重测试：同时测试两个或更多版本的相同服务。流向路由的流量必须在运行不同版本相同服务的集群之间进行拆分。

我在表中总共有8条记录，其中6条在spring批处理调用read时可以使用jpareader。现在我将页面大小和块大小设置为1以进行测试。期望作业运行时，它应该进行6次读取调用，然后它应该逐个处理，逐个写入。但实际上发生的是，它只是调用read 4次（从日志中我可以看到这样读取页面0...1）并处理4个，其中一个由于不匹配写入标准而被过滤掉，然后它只是更新了3个记录，作业标记为成功完成。

我们计划使用Flink处理来自kafka主题的数据流（Json格式的日志）。 但是对于这种处理，我们需要使用每天都在变化的输入文件，其中的信息可以完全改变（不是格式，而是内容）。 每当这些输入文件中的一个发生变化时，我们必须将这些文件重新加载到程序中，并保持流处理继续进行。 重新加载数据的方式与现在相同： 但是到目前为止，我还没有找到例子，也没有想出一种方法来触发流处理作业中的重新加载。 作为额外

我有一个场景，必须通过服务层中RESTAPI的触发器发布多条消息。 此服务还具有db操作（插入、更新）。这里的要求是，如果存在导致publisher无法发布的问题的网络问题，或者当kafka broker不可用时，我们希望回滚包括数据库在内的所有内容，并通过API响应通知用户它失败。 问题1：是否可以通过启用Kafka事务性来实现需求？ 据我所知，默认情况下，同一事务中的数据库将首先提交，然后由K

如何使用java dsl Integrationflows从spring集成触发spring批处理作业。 我有下面的代码，它轮询目录中的文件，当新文件添加到目录中时，会生成一条消息，我想在该实例中触发一个Spring批处理作业。请建议。

根据日志，所有事情都是在线程“main”中顺序发生的。顺便说一句，我使用publishSubscribeChannel，因为我有rabbit Publisher/Handler，它以同样的方式监听这个通道。 既然数据库操作需要时间，我应该如何正确处理，使“主”不变慢。最好，主线程必须尽快解除阻塞，处理应该在辅助线程中继续。我说得对吗？ 我是否可以在流中引入一个缓冲区，从PublishSubscri

在窗口之后，每个键组合集合: 问题是，在完全读取集合之前，集合的元素永远不会通过组合器。这是批处理模式下数据流的预期行为吗？我的猜测是Dataflow根本不计算/移动水印，这接近事实吗？ 我的问题与GroupByKey转换的早期结果非常相似，但在我的例子中，集合是由一个可拆分的DoFn读取的，其中在每个元素的末尾调用。

如图所示，示例模型中的两个屏幕截图：流程图和状态图。 所以我想要的是，根据流程图的哪个分支，人在状态图中的转移概率是不同的。也就是说，Person的所有实例都以相同的转换概率开始，但一旦到达流程图中的特定点，转换概率就应该更新。

我想使用以allMatch终端操作结束的单个流链获得一个假值。 然而，我发现由于allMatch操作的设计，它在处理空流时将返回true。 例如，以下代码返回true，因为过滤后的流在管道中是空的。 为了得到预期的结果（false），我需要将流收集到一个临时列表中，并添加额外的检查，以确认它是否为空，然后再传递给allMatch操作进行最终处理。这使得整个过程看起来非常笨拙，有没有更优雅的解决方案

我有一个作者集合和一个书籍集合。一本书与作者之间的联系是作者的电子邮件地址。 Book类有一个作者电子邮件地址的:。 如何使用lambda表达式获取所有图书的所有作者列表，并按图书名称进行筛选？

我有一个节点-快递应用程序。在那里，我试图调用一个API，它响应一个原始的xlsx对象作为 'Content-Type'：'应用程序/八位流；charset=； UTF-8' 编写如何调用API的代码： 现在我正试图用这些数据做两件事。 将其写入excel文件。下面是我尝试的代码： 因此，在这两种情况下，文件都会损坏。 但是API响应是完美的，因为当它被UI直接使用时，xlsx文件正在正确生成。

我是反应式编程的新手，并在Spring Webflux中编写了一个kafka消费者来消费事件，对其进行处理并处理成功和失败的场景。我想了解如何使用千分尺计算处理每个事件（成功和失败）所花费的时间指标。我知道我们可以使用千分尺的定时器接口来计算这样的处理时间- 其中inTime-事件处理开始的时间。 但是我不知道我应该如何在反应式编程场景中使用“inTime ”,因为它是一个事件流，而且它将一次处理

我现在尝试在Matlab中从记录加速度计、陀螺仪和磁强计输出的android应用程序中提取信息。由于我需要找到线性加速度，我假设我可以计算它从加速度计考虑重力。我想，应该可以通过基于磁强计输出（地球磁场）检查电话方位来找到。但我不能用任何公式得到正确的结果。我说有了磁强计才有可能找到重力矢量是对的吗？如果是，我应该如何解释传感器读数？

Wavesurfer怎么加载超大音频文件，文件最大3G 让后端生成peaks波形数据，但是在进行缩放时，wavesurfer好像会自己重新生成波形，导致浏览器卡死

之前业务被CC攻击过1-2次，服务中断了很长时间。。 现在计划是加一个接口限流的方式去过滤重复请求。 计划是 client_IP + URI 作为一个限流对象key。限制接口每秒钟只能访问2次(当然这个后期是可以调整的，如果遇到攻击就降低，没有攻击的情况下就正常放行，尽量降低影响）。 然后会同时部署多个入口网关，然后DNS的不同区域和运营商给分配到不同的网关。这样即使有问题，按理说也只会影响到一个