测试kafka和flink集成流程

Question

例如，我想用FlinkKafkaConsumer011和FlinkKafkaProducer011测试Kafka/Flink的集成。

该过程将是：

1. 与Flink一起阅读Kafka主题
2. 用Flink进行一些操作
3. 和Flink一起写另一个Kafka主题

以字符串为例，从输入主题中读取字符串，转换为大写，写入新主题。

问题是如何测试流量？

当我说测试时，这是单元/集成测试。

谢谢！

Answer 1

Flink文档中有一个关于如何为转换操作符编写单元\集成测试的小文档：link。该文档还有一个关于测试检查点和状态处理的小节，以及关于使用AbstractStreamOperatorTestHarness的小节。

然而，我认为您对端到端集成测试（包括测试源和汇）更感兴趣。为此，你可以启动一个Flink迷你集群。下面是一个链接，指向启动Flink迷你集群的示例代码：link。

您还可以在JVM中启动Kafka代理，并将其用于测试目的。Flink的Kafka连接器在集成测试中就是这样做的。下面是启动Kafka服务器的示例代码：link。

如果你在本地运行，你可以使用一个简单的生成器应用程序为你的源Kafka主题生成消息（有很多可用的。你可以连续或根据不同的配置间隔生成消息）。下面是一个在本地运行时如何设置Flink的作业全局参数的示例：Kafka010Example。

另一种选择是创建一个集成环境（相对于生产）来运行端到端测试。您将能够真正感受到您的程序在类似生产的环境中的行为。总是建议有一个完整的并行测试环境——包括测试源\汇Kafka主题。