当前位置: 首页 > 知识库问答 >
问题:

在python apache beam中,是否可以按照特定的顺序编写元素?

晏树
2023-03-14

我正在使用beam处理重叠窗口上的时间序列数据。在管道的末尾,我将每个元素写入一个文件。每个元素表示一个csv行,其中一个字段是关联窗口的时间戳。我想按照时间戳的顺序来编写元素。有没有一种方法可以使用python beam库来实现这一点?

共有1个答案

邓正真
2023-03-14

虽然这不是基本发行版的一部分,但可以通过处理这些元素并在写入文件之前将它们作为全局窗口的一部分进行排序来实现,但要注意以下几点:

  • 需要将窗口的全部内容放入内存,或者需要将文件分块到更小的全局窗口中。
  • 如果您正在执行第二个选项,您需要有一个策略来编写更小的窗口以便文件。
 类似资料:
  • 我正在使用java.util.Properties的store(Writer, String)方法来存储属性。在生成的文本文件中,属性以随机顺序存储。 这就是我正在做的事情: 如何确保属性是按字母顺序写出的,还是按属性添加的顺序写出的? 我希望有一个比“手动创建属性文件”更简单的解决方案。

  • 问题内容: 如何按自定义顺序排序? 输入: 预期结果: 我的python代码现在如下: 问题答案: 使之间的映射,,0,1,2 并将映射用于排序键:

  • 在一个<代码>中

  • 问题内容: 我想知道是否可以在Swift中编写内联汇编。 我知道在Objective-C中,您可以使用如下代码: 但是在Swift中似乎无法使用 。 有谁知道如何使用,如果可能的话。我没有找到任何关于它的信息,所以我认为这是一个很好的问题。 问题答案: 要扩展Robert Levy所说的内容,您可以只使用Swift / Obj-C互操作功能,并编写一个可以处理ASM内容的Obj- C类,然后可以从

  • 已知字母序列【d, g, e, c, f, b, o, a】,请实现一个函数针对输入的一组字符串 input[] = {“bed”, “dog”, “dear”, “eye”},按照字母顺序排序并打印,结果应为:dear, dog, eye, bed。 说明 本问题在网上比较常见,但这里尝试用另外一个思路,并且用python来写,与众多用c++的有所不同,且似乎短小了不少。自己感觉比网上参考到的更

  • 是否有任何保证在顺序和有序流上的操作是按遇到顺序处理的? 我是说,如果我有这样的代码: 是否可以保证它将按照生成范围的遇到顺序执行myFunction()调用? 我找到了Stream类的JavaDocs草案,它明确地说明了以下内容: 对于顺序流管道,如果管道源具有已定义的遇到顺序,则所有操作都按照管道源的遇到顺序执行。 但是它没有提到顺序流,这个例子是针对并行流的(我的理解是,顺序流和并行流都是正