Apache Beam容错如何适用于全局Windows？
我正在用Beam Python构建管道。我有一个来自PubSub的事件流，其中包含userId和buttonId。我有一个全局窗口，用于维护所有用户单击按钮的次数。
如果一段时间后服务器重新开始运行Direct Runner/Flink Runner，全局windows状态是否会恢复到管道？
Beam中的容错是如何工作的？
如何跟踪PubSub的偏移量/检查点？
光束留档指出：
状态的存储和容错：由于状态是每个键和窗口，因此您希望同时处理的键和窗口越多，您将产生越多的存储”。
不过，我找不到更多这方面的资料。
共有1个答案
对于问题的第一部分，beam通过排出流服务中的异常来处理异常，这里将介绍一些详细信息https://cloud.google.com/dataflow/docs/guides/stopping-a-pipeline
虽然不确定这是否回答了您关于偏移/检查点的问题。
-
问题内容： from celery import Celery 这是我用来测试芹菜的代码。我希望每次使用addone（）时，返回值都应该增加。但是为什么总是1？ 结果 问题答案： 默认情况下，启动工作程序时，Celery以并发4启动它，这意味着它已启动4个进程来处理任务请求。（加上一个控制其他进程的进程。）我不知道该使用哪种算法将任务请求分配给为工作人员启动的进程，但是最终，如果执行足够，您将看到
-
我有一个数据流工作，将单个文件分割成x个记录（表）。这些流在bigQuery没有问题。 不过，我发现没有办法在结果出来后执行管道中的另一个阶段。 举个例子 根据上述内容，我希望运行以下内容： 是有无论如何运行管道的另一个部分后，up到bigQuery或这是不可能的？提前感谢。
-
本文向大家介绍关于axios如何全局注册浅析，包括了关于axios如何全局注册浅析的使用技巧和注意事项，需要的朋友参考一下 前言 最近用 Vue 写项目的时候，用到 axios ，因为 axios 不能用 Vue.use() （详细介绍可以参考这篇文章），所以在每个 .vue 文件中使用 axios 时就需要 import ， .vue 文件少的话还好说，多的话未免有点麻烦。 后来想了想，能不能直
-
问题内容： 我在其中动态添加了许多内容。我面临的问题是，每当我单独将onTouch侦听器应用于其时，它都会检测到触摸，但是当我向相对布局中添加触摸时，它永远不会响应。 此代码可以很好地检测触摸事件： 但是，当我在myRelativeLayout中添加所有这些TextViews时： 现在，永远不会调用onTouchListener。为什么呢？ 问题答案： 导致您的布局，而不是触发触摸事件。尝试删除它
-
我试图填充一个相对的布局与4卡视图在它。每个cardview由一个图像和一个文本视图组成。我将所有卡片视图包装在一个相对布局中，将相对布局包装在一个滚动视图中。不管用。如果我移除scrollview，它可以正常工作。尝试将scrollview放入相对布局中。但没有工作代码：
-
我有一个批次处理作业在数据流运行在gcp下版本apache-梁[gcp]==2.19.0的数据流运行。我为作业创建了一个自定义模板。作业正在按预期运行，但我还想添加最大作业持续时间。我在wait_until_finish（）方法中找到了持续时间（毫秒）参数，它应该是可用的。问题是：如何让模板化批处理作业在运行时间超过持续时间时自动停止？我不需要保存任何数据，我只希望工作运行时间过长时停止。我已经实