当前位置: 首页 > 知识库问答 >
问题:

如何以编程方式取消运行时间过长的数据流作业?

邓阳伯
2023-03-14

也许有一种方法可以设置一个计时器,如果数据流作业超过时间限制,它就会停止?

共有1个答案

穆洋
2023-03-14

如果您能创建一个客户支持票证,我们可以尝试与您一起调试它,那就太好了。

也许有一种方法可以设置一个计时器,如果数据流作业超过时间限制,它就会停止?

不幸的是,答案是否定的,Dataflow没有在一定时间后自动取消作业的方法。但是,使用API可以做到这一点。可以使用超时来wait_until_finish(),然后取消()管道。

p = beam.Pipeline(options=pipeline_options)
p | ... # Define your pipeline code

pipeline_result = p.run()  # doesn't do anything
pipeline_result.wait_until_finish(duration=TIME_DURATION_IN_MS)
pipeline_result.cancel()   # If the pipeline has not finished, you can cancel it
 类似资料:
  • 我有一个RecyclerView,里面有这样的项目: 我使用用于侦听滑动,OnChildRaw()用于在滑动项目时绘制画布: 再刷一点: 我想在项目列表中的第一个项目上模拟(在运行时)滑动;我需要第一个项目去(或多或少)-100像素的X轴,然后回到原来的位置。如何做到这一点?

  • 我在Master上运行了一个如下所示的spark代码: 我的集群配置:独立/客户机模式下的3个节点(1个主+2个从) 我尝试添加一个新的集群,因为上面搜索的关于资源不足的错误,但是这个错误在伸缩时仍然存在。 是因为节点中的内存较少吗??这里有什么建议吗??

  • 我在任何Spring-Data文档中都找不到,在MongoDB中为文档分配过期时间的方法是什么?

  • 我想在时钟到达特定时间之前中止我的Jenkins作业。我没有找到任何在指定时间自动停止它的东西(我不想手动执行)。有这样的事情吗? 我读过这篇文章,但没有一个答案能解决我的问题:如何在不重启服务器的情况下停止Jenkins上无法阻止的僵尸工作?

  • 服务器时间在单击按钮事件中自动设置为我的设备。

  • 我试图实例化插件,配置它并将其传递给我的模型上的方法,但似乎没有任何效果。下面是我的代码: 我做错了什么?