Kafka流处理过程中的外部系统查询

Question

null

Answer 1

关于外部系统的查询模式,您有多种可能：

• 建议：使用Kafka Connect将数据从外部系统导入到Kafka中，并将这些主题阅读为KTables，以执行KStream-KTable查找联接。
• 您可以在UDF代码中实现自己的自定义查找联接。根据详细信息，您可以使用kstream方法#mapvalues()、#map()或更低级别的方法，如#transform()或#process()。因此，您手动打开到外部系统的连接，并为处理的每个记录发出查找查询。
  • 同步查找：如果对外部系统进行同步调用，则无需考虑其他任何问题（例如，可以使用#mapvalues()来实现此操作）
  • async Lookpus:对于外部系统的异步调用，要想正确地调用是比较困难的（您应该非常小心--这不是一种推荐的模式，因为目前没有库支持）。首先，您需要以可靠的方式记住您发出的所有异步调用（即，您需要附加一个状态，并在实际启动之前将您要发出的每个请求写入该状态）。其次，在每次回调时，您需要以某种方式缓冲结果，并在稍后再次调用发出请求的同一个运算符时处理它（不可能在异步回调处理程序中生成下游结果，而只能在UDF代码中生成）。下游发出后，您可以从状态中删除请求。第三，在故障恢复中，您需要检查未完成请求的状态，并再次发出这些请求。还要记住，这种异步处理打破了一些内部流的假设，例如关于记录主题偏移量的保证处理顺序。

  比较一下关于流中的失败处理和偏移量提交的问题：使用Kafka流DSL时如何处理错误和不提交