AWS Lambda和Kinesis客户端库（KCL）

Question

为什么我发现KCL与AWS Lambda一起使用的例子如此之少。https://docs.aws.amazon.com/streams/latest/dev/developing-consumers-with-kcl.html

它确实提供了一个很好的实现来跟踪您在流中的位置（检查点）。

我想使用KCL作为消费者。我的设置是一个具有多个碎片的流。每个碎片上都有一个Lambda在消耗。我想使用Lambda中的KCL来跟踪迭代器在碎片上的位置。

为什么我找不到任何使用KCL和Lambda的人。这里的问题是什么？

Answer 1

我不为AWS工作，所以显然我不知道没有留档的确切原因，但这是我的想法。

首先，要运行KCL，您需要运行JVM。这意味着您只能使用Java在lambda中执行此操作，因为（据我所知）没有办法将其他sdk、运行时等拉入lambda。您在设置时选择了一个运行时。所以他们只会为java lambda创建留档。

现在出于更技术的原因。你需要考虑lambda在做什么，然后是KCL在做什么。

让我们从Lambda开始。lambda是设计的，短暂的。他们可以（也将）在一天中不断地上下旋转。当然，你可以设置一个取暖方案，让Lambda保持不动，但它们仍然具有短暂的特性，这完全是你无法控制的。换言之，AWS控制lambda何时以及是否保持活动状态，并且没有发布具体的方法。所以你只能试着保持温暖。

KCL做什么？

• 连接到流

看完这个列表后，现在让我们回到lambdas短暂的本质。这意味着每次lambda上升或下降时，所有这些工作都需要进行。这包括在碎片和工作者之间进行完全的重新平衡，从流中提取数据记录，设置检查点，等等。您还需要确保不会有比碎片数量更多的lambda，因为它们将一文不值（在最好的情况下永远不要使用，在最坏的情况下永远不要注册为工作者，否则可能会导致消息丢失。想想在这种情况下，通过重新平衡会发生什么。）

好的，从技术上讲，你能做到吗？如果您使用Java并尽全力保持lambdas温暖，从技术上讲这是可能的。但回到你的问题上来。为什么没有文档？我从不想说“从不”，但一般来说，Lambdas具有短暂的特性，并不是KCL的最佳用例。如果你不深入了解KCL的工作原理，你可能会错过一些东西，导致重新平衡问题，并可能导致信息丢失。

如果这里有任何不准确的地方，请告诉我，这样我就可以更新。谢谢，我希望这能帮助到某人。

Answer 2

由于您可以直接从lambda中的Kinesis中消费（使用Kinesis作为事件源），因此在lambda中使用KCL没有任何意义。AWS构建的事件源框架必须使用类似KCL的东西来启动lambda以响应运动事件。

在lambda运行时启动lambda、在处理程序中初始化KCL并等待事件发生，这将是非常奇怪的。Lambda将在5分钟内下降，你将再次做同样的事情。从EC2实例中执行此操作是有意义的，但之后您将自己重新实现Lambda-Kinesis集成。这就是Lambda在幕后的表现。