Apache Flink 1.3.2与Kafka 1.1.0的连接问题
我正在使用Apache Flink 1.3.2的集群。我们正在使用Kafka消息，自从将代理升级到1.1.0（从0.10.2）后，我们经常在日志中发现此错误：
ERROR o.a.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase - Async Kafka commit failed.
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException: null
因此，有时我们在处理过程中会遇到缺失事件。我们在工作中使用FlinkKafkaConsumer010。
已启用检查点（间隔10秒，超时1分钟，检查点之间的最小暂停时间为5秒，最大并发检查点时间为1秒。E2E的平均持续时间不到1秒，甚至不到半秒。）在Kafka 0.10.2中使用了相同的设置，我们没有此异常。
更新：我们已经重新安装了Kafka，现在我们收到一条警告消息，但仍然没有读取任何事件
WARN o.a.flink.streaming.connectors.kafka.internal.Kafka09Fetcher - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.
共有1个答案
原来这是由我们在AWS中遇到的一些连接问题引起的。该框架与Kafka 1.1配合得很好
-
响应消息：java.sql.SQLException：无法创建PoolableConnectionFactory（ORA-00604：递归SQL级别1 ORA-12705发生错误：无法访问NLS数据文件或指定的无效环境）
-
1-需要在PHP服务器机器中安装ASE才能连接到远程赛贝斯ASE数据库？ 2-有没有办法不使用sql.ini（接口）文件？ 3-有没有一种方法可以连接到远程赛贝斯ASE数据库，而无需对PHP服务器机器进行任何修改？ （我运行的是PHP5.3.2，Windows Server）。
-
问题内容： 当我的MongoDB连接空闲几分钟后，下一个请求将错误结束。从命令行客户端，它看起来像这样： 我看到针对MongoHQ和MongoLab的沙箱实例的问题。 由于重新连接，下一个请求通过正常。这是我的网络应用程序中的一个问题，因为几分钟不活动后，在网络请求期间将出现此错误。有两件事让我感到惊讶： MongoDB连接被如此频繁和频繁地破坏，并且 驱动程序只是引发一个异常，而不是在重新连接后
-
原因：java.io.ioException：未能中止...9更多 原因：java.io.ioException：现有连接被位于sun.nio.ch.socketDispatcher.read0（本机方法）位于sun.nio.ch.socketDispatcher.read（未知源）位于sun.nio.ch.ioutil.readintonativeBuffer（未知源）位于sun.nio.ch.
-
因此，在aws实例中，我们尝试将spring kafka与msk连接起来，在msk中使用本地kafka。接下来没有ssl。我试着用telnet运行它。但是在运行应用程序时，出现了这个异常。 我们的msk集群在同一个vpc中。所有代理连接配置字符串都正常
-
我在Ubuntu 14.04中使用XAMPP for linux。在终端上启动服务时，打印下一个日志： sudo /opt/lampp/lampp启动 "开始XAMPPLinux5.5.30-0... XAMPP:正在启动Apache。。。好啊 XAMPP:正在启动MySQL。。。已经在运行了。 XAMPP：开始ProFTPD...好的。" 我不知道为什么当我第一次启动XAMPPm时，MySQL服