数据流作业因“处理暂停”而停止
通过使用会话窗口与相当高级的组一起运行流数据流管道，在运行几个小时后，我遇到了问题。工作在workers中扩展，但后来开始获得日志负载，其内容如下
Processing lull for PT7500.005S in state process of ...
记录此代码的转换位于“group by”-块之后，并执行对外部服务的异步HTTP调用（使用scala.concurrent.{await/promise})。
你知道为什么会这样吗？与异步、伸缩或按策略分组有关？
- 作业ID:2018-01-29_03_13_40-12789475517328084866
- SDK：Apache Beam SDK for Java 2.2.0
- SCIO版本:0.4.7
共有1个答案
@JKFF评论给我指出了正确的方向。第一步是向scala future添加一个超时--这向我展示了“处理暂停”实际上是从未终止的promise，从而迫使dataflow“永远”保留它们。现在我得到了适当的未来超时错误，但没有用，因为作业仍然没有前进。现在改为同步调用，但我看到吞吐量低得多
-
我在我的JAVA应用程序中配置了Spring批处理作业，该应用程序在集群中运行。因此，相同的作业被执行两次，这是我不想要的。 所以我想在作业中配置一个步骤，它将检查CREATE_DATE是否在BATCH_JOB_EXECUTION表中存在，并将继续或故障转移。 如何在spring批处理步骤中进行配置？
-
我有一个Flink流应用程序，需要能够“暂停”和“取消暂停”对特定键控流的处理。“处理”意味着只是在流上执行一些简单的异常检测。 我们正在考虑的flow是这样工作的： 命令流，可以是ProcessCommand、PauseCommand或ResumeCommand，每个命令都有一个用于按键的id。 处理命令将检查按键在处理前是否暂停，如果没有暂停，则检查缓冲区。 暂停命令（PauseCommand
-
暂停脚本的当前线程。 #p::Pause ; 按一次 Win+P 会暂停脚本. 再按一次则取消暂停. Pause [, On|Off|Toggle, OperateOnUnderlyingThread?] 参数 On|Off|Toggle 如果为空或省略, 则它默认为 Toggle. 否则, 请指定下列单词的其中一个: Toggle：如果在当前线程下的潜在线程处于运行状态，则暂停当前线程，否则让潜
-
我已经使用开始我的作业，当我尝试使用另一个请求停止作业时，然后获取exeption： JobExecutionNotrunningException：JobExecution必须正在运行，才能停止 当打印作业状态总是获取但批处理作业正在运行时 它的web应用程序，首先上传一些CSV文件，并使用spring batch启动一些操作，在执行过程中，如果用户需要停止，则从另一个控制器方法来停止请求，并试
-
1.若要暂停训练，请按下该按钮。显示暂停。若要继续训练，请点击绿色箭头图标。 2.若要停止训练，在记录训练期间或处于暂停模式时长按该按钮三秒钟，直至计数器清零。或者您可以点击并按住显示屏上的红色停止按钮。 如果在暂停后停止训练，则暂停后经过的时间不包括在总训练时间内。
-
若要暂停训练 长按正面按钮 或 在训练视图中向右滑动，找出并轻触暂停图标。 通过向左滑动您可以在暂停模式中看到训练总结。 恢复暂停的训练 轻触绿色箭头图标。 停止训练 在训练期间或在暂停模式中，长按正面按钮直至绿色计时器一直倒数。 或 在暂停模式中，轻触并按住红色停止图标可结束记录。