当前位置: 首页 > 知识库问答 >
问题:

Apache Beam/Dataflow重新洗牌不推荐,用什么代替?

濮阳立果
2023-03-14

阿帕奇光束的改组在2017年5月被标记为不推荐

仅供内部使用;没有向后兼容性保证。

此外,DataflowRunner还安装了reshuffleoverridefactory,我不清楚如何更改重新洗牌。

无论如何,JavaDoc没有提到要使用什么。用户应该如何处理总体上和数据流上的高扇出的ParDo转换?

共有1个答案

长孙昀
2023-03-14

您可以查看GroupByKeyCombine操作中的WithFanOut选项。以下是Java API的链接--https://beam.apache.org/releases/javadoc/2.0.0/org/apache/beam/sdk/transforms/combine.globally.html#withfanout-int-

 类似资料:
  • 你能帮助采用代码iOS7吗?我有代码: 但是Xcode说size的字体:字体size的字体:字体和线型断开模式在iOS7中已弃用。 请帮我更新这一行代码。

  • 问题内容: 现在我正在使用类似 我需要您的意见以最好/最有效的方式对密码进行加密,当然,加密的密码应受PHP 7.xx支持,并且也应可解密,因为我的客户确实希望选择“恢复”密码而不生成新密码一。 问题答案: 最佳做法是对密码进行哈希处理,以使密码不可解密。这使可能已获得对数据库或文件的访问权限的攻击者的处境变得更加困难。 如果必须加密数据并使其可解密,请访问https://paragonie.co

  • 我得到了几次配额的增加,虽然这让作业比以前继续,但它仍然以相同的错误结束(尽管shuffle键的大小更大了)它现在似乎没有因为配额相关问题而碰壁。 除了放弃Dataprep和回到map Reduce之外,还有什么想法吗?

  • 问题内容: 众所周知,Java 中的接口已损坏。造成这种情况的原因很多,我将不再赘述。其他人已经做到了。这也是Java架构师本身的立场。 因此,我的问题是:为什么还不被弃用?如果核心Java团队已确定它已损坏,那么他们还必须考虑过时。他们反对这样做的原因是什么(在Java 8中仍不建议弃用)? 问题答案: 有一个错误在1997年提交给Java的错误数据库有关添加方法,所以将不再是无用的。它以“无法

  • 问题内容: 我曾经在hibernate 3中使用getHibernateTemplate(),现在我转向了Hibernate 4,在这里我找不到以下类: 在这里我已经阅读过有关它的更多信息,不建议使用 http://forum.springsource.org/showthread.php?117227-Missing-Hibernate- Classes-Interfaces-in-spring

  • 问题内容: 我正在将hibernate项目配置为使用第二级缓存提供程序,以便可以利用查询缓存。 我向ehcache添加了一个依赖项: 我认为我要使用的提供程序类是: 在eclipse中查看引用的库时,我在和上都看到了注释。是什么赋予了?我可以使用最新的替代供应商吗? 我正在使用hibernate版本3.4.0.GA,以防万一。 问题答案: 是什么赋予了?我可以使用最新的替代供应商吗? 不推荐使用它