Apache Flink：使用来自外部/阻塞调用数据丰富流
在我的应用程序中，我想丰富一个无限的事件流。流本身是通过对ID进行散列来并行的。对于每个事件，都可能有一个对外部源（例如REST和DB）的调用。这个呼叫本质上是阻塞的。必须保持一个流分区内事件的顺序。
我的想法是创建一个RichMapFunction，它设置连接，然后轮询每个事件的外部源。阻塞调用通常耗时不长，但在最坏的情况下，服务可能会关闭。
共有1个答案
RichMapFunction是一个很好的起点，但更喜欢RichAsyncFunction，它是异步的，不会阻塞您的处理！
小心:
1-您的DB访问，但也是异步的
2-您的事件顺序可能会更改（根据使用的模式）
更多详细信息:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/stream/asyncio.html
希望有帮助
-
本文向大家介绍node.js回调函数之阻塞调用与非阻塞调用，包括了node.js回调函数之阻塞调用与非阻塞调用的使用技巧和注意事项，需要的朋友参考一下 首先，node.js作为javascript运行平台，它采用了事件驱动和异步编程的方式，通过事件注册和异步函数，开发人员可以提高资源利用率，服务器的性能也能得到改善。其次，对于前端人来说，node.js作为js的运行平台，我们可以通过编写系统级或者
-
我完全混淆了，，。 哪个是阻塞，哪个不是？ 我的意思是如果我使用父进程是否等待子进程返回/才继续执行。 如何影响这些调用？
-
数据丰富是指用于增强，改进和改进原始数据的一系列过程。 它指的是有用的数据转换（原始数据到有用信息）。 数据丰富过程的重点是使数据成为现代企业或企业的宝贵数据资产。 最常见的数据丰富过程包括通过使用特定的决策算法来纠正数据库中的拼写错误或印刷错误。 数据丰富工具为简单数据表添加有用信息。 考虑以下代码进行单词拼写纠正 - import re from collections import Coun
-
我正在编写一个Flink流程序，其中我需要使用一些静态数据集（信息库，IB)来丰富用户事件的数据流。 对于例如。假设我们有一个买家的静态数据集，并且我们有一个事件的clickstream，对于每个事件，我们要添加一个布尔标志，指示事件的实施者是否是买家。 另一个选择可以是使用托管操作员状态来存储购买者设置，但是我如何保持按用户id分配的该状态，以避免在单个事件查找中使用网络I/O呢？在内存状态后端
-
在上一节中，我们看到了 take Effect 让我们可以在一个集中的地方更好地去描述一个非常规的流程。 重温一下登录流程示例： function* loginFlow() { while(true) { yield take('LOGIN') // ... perform the login logic yield take('LOGOUT') // ...
-
我正在用Flink做一个实时项目，我需要用以前的交易丰富每一张卡的状态，以计算如下的交易特性： 对于每一张卡，我都有一个功能，可以统计过去24小时内的交易次数。另一方面，我有两个数据源： 在Flink流中使用静态数据集丰富数据流 任何帮助都是非常感激的。