Kafka+AWS lambda

Question

是否有可能将AWS Lambda与Apache Kafka集成在一起？我想在lambda函数中放一个消费者。当使用者收到消息时，lambda函数执行。

Answer 1

这里是AWS关于预定的lambdas的文章。

鉴于您的Kafka安装将在VPC中运行，最好的做法是将Lambda配置为也在VPC中运行--这将简化运行Kafka的EC2实例的安全组配置。

这里是AWS关于配置Lambdas以在VPC中运行的博客文章。

Answer 2

阿拉法特继续他的观点。我们已经成功地建立了一个基础设施，使用AWS lambdas从卡夫卡消费。以下是一些gotcha的：

• 在使用时确保在读取时始终如一地批处理和提交。
• 如果要将批存储到s3，请确保清除文件描述符。
• 如果要将批处理转发到另一个服务，请确保清除变量。AWS Lambda中的变量缓存可能会导致内存溢出。
• 一个好主意是检查Lambda中的context对象还剩多少时间，并给自己一些回旋空间，以便使用在使用者中填充的缓冲区执行某些操作，除非调用close()，否则这些缓冲区可能无法读取到文件中。

我们正在使用Apache Airflow进行调度。我听说cloudwatch也能做到这一点。