《数据人的面试交流地》专题

在启动应用程序时，Kafka流出现了奇怪的错误 结果，关于失败流的错误：

null

以下用例的最佳实践建议是什么？我们需要将一个流与一组“规则”进行匹配，这些“规则”本质上是一个Flink数据集的概念。对此“规则集”的更新是可能的，但不是频繁的。每个流事件必须与“规则集”中的所有记录进行检查，每次匹配都会在接收器数据流中产生一个或多个事件。规则集中的记录数在6位数范围内。 目前，我们只是将规则加载到本地规则列表中，并在传入的数据流上使用flatMap。在flatMap中，我们只是

我已经使用Spring云数据流来控制一些批处理作业。在SCDF中，我定义了一些任务后，它们作为运行状态的作业启动。当我试图停止一项特定的工作时，它并没有立即停止。我发现该工作仍在运行，直到它完成了当前的步骤。 例如，我的作业'abc'有2个步骤A和B。在SCDF中，当步骤A正在执行，而作业'abc'仍在运行时，我停止作业'abc'，直到步骤A完成，并且它没有实现步骤B。 那么，有什么方法可以从Sp

我正在学习spring cloud dataflow的概念，并想知道存储全局资源的常见方式是什么。 例如，当我有一个带有PMML处理器的流时，我希望通过Spring-Cloud-Task周期性地重新训练底层的PMML模型。 我将在哪里存储模型，以便它可以被处理器用作（只读）资源，并由任务每晚更新？Spring云数据流中是否有一个全局存储的概念？我应该使用spring-cloud之外的传统数据库，还

在数据流任务下，不是将源数据库的SQL查询放入查询窗口：我看到了OLE DB数据源-1的数据访问模式下的四个选项。表或视图2。视图名称变量3的表。SQL命令4。来自变量的SQL命令 我知道我可以使用一个变量，将查询存储在变量中，并在“执行SQL任务”中引用它，但我正在寻找一种方法，将所有查询存储在SQL文件中，并将其存储在数据流组件中以及“执行SQL脚本任务”中。我似乎找不到一种方法使它在数据流任

假设存在一个有限的 DataStream（例如，来自数据库源）和事件 < li> 。 如何将另一个事件< code>b追加到此流以获取 (即在所有原始事件之后输出添加的事件，保持原始顺序)？ 我知道所有有限流在所有事件之后都会发出< code>MAX_WATERMARK。那么，有没有办法“抓住”这个水印，输出它之后的附加事件呢？ (不幸的是，<代码>。union()将原始数据流与由单个事件组成的另

我正在尝试使用Google Cloud Dataflow（Python SDK）将Google PubSub消息写入Google Cloud Storage。这些消息以json格式进入PubSub，我必须定义一个模式才能将它们写入Google Cloud Storage中的拼花格式。 根据其他用户的建议，我开始着手这项任务，特别是查看这个和这个来源。< br >第一个不是我想要做的，因为它将更改应

我对Java没有太多的经验，特别是多模块项目，所以我不能从多模块项目中创建数据流模板。 要从Dataflow模板生成模板，必须使用如下内容： 这对我来说在一个简单的Java项目中工作得很好，但目前我需要在一个具有以下简化结构的项目中使用以下内容： 我已执行mvn包，没有任何错误，输出如下： 我有以下错误： 如果我从根目录执行它： 我还试着用： 我应该执行哪个命令来构建模板？ 主pom.xml文件

处理不按数据流分布，而是由一个节点处理。 我创建了下面的程序，并验证它是否能正确地处理一个小数据。 null Dataflow认为按照Beam的习惯用法编写程序会以“好”的方式分布到许多节点，但它的工作方式与预期不同。 它是如何运作良好的？

我有一个python中的ApacheBeam管道，不管出于什么原因，它都有下面这样的流。 SQL作业-- 当我在本地运行此程序时，此序列工作正常。然而，当我试图将其作为数据流管道运行时，它实际上并没有按此顺序运行。 在数据流上运行时是否有强制依赖关系的方法？

你能让我知道如何在新的api中使用与数据流运行器的聚合器吗。？

作为以下问答的后续问题： https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey 我想与谷歌数据流工程团队(@jkff)确认尤金提出的第三个选项是否有可能使用谷歌数据流：

我正在创建一个Apache Beam streaming处理管道，以在GCP Dataflow中运行。我有许多扩展DoFn和combinefn的转换。在DoFn中，使用数据流作业详细信息中的日志窗口，日志可以很好地可视化。但是，不显示来自CombineFn转换的日志。

我目前正试图根据数据中包含的特定键，将运行在Google Dataflow上的Beam管道分叉到多个目的地。当使用TaggedOutput标记对“fork”的每个endpoint进行硬编码时，我能够实现这一点。但是，在将来，我并不总是知道底层数据中存在哪些键，因此我希望使用类似于以下的for循环动态创建流程中的后续步骤： 我的理解是，<代码>的结果。with\u outputs（）应该是可编辑的，