通过 Kafka 插入到目标雪花的记录数量 vai kafka-雪花连接器与源相比较少，记录不匹配
我正在使用Snowflake-Kafka Connector。其中集成了 3 个 Kafka 服务器集群。这有一个分布式连接器在 Zookeeper 和 Kafka 服务之上执行。最重要的是，雪花连接器正在运行。但是，与源系统相比，记录数在目标数据库雪花中的记录较少。我如何获得准确的结果数以及如何在 Kafka 和 Snowflake 中检查这些记录。请帮助制定具体的机制和步骤/方法。
共有2个答案
我们面临类似的问题，似乎它与connect-distributed.properties或connect-standalone.properties中缺少consumer.auto.offset.reset=最新配置有关
在有某些记录没有被摄取的情况下，雪花端的记录数量只会更少。您可以检查“拷贝历史记录”表，也可以查看“表阶段”,看是否有任何文件因为无法接收而移动到此阶段。您可以从Kafka Connect捕获调试日志并上传到这里
请同时提供模式和表名。
Kakfa连接器https://docs.snowflake.com/en/user-guide/kafka-connector-ts.html故障排除
-
我正在使用 3 个服务器集群进行 Kafka 配置，使用 Snowflake 连接器 REST API 将数据推送到 Snowflake 数据库：所有这些都是在 AWS 上运行的 3 个不同的虚拟机 1.在这种情况下，我们是否需要3个kafka单独的服务器zookeeper服务需要在集群中启动和运行，否则只有1个就足够了，就像它需要在所有3个服务器zookerper服务中执行一样，它是否需要不同的
-
我正在使用雪花，我正在寻找插入数据到一个表，而使用一个变量，使用变量的目的是，当我可以改变它，而不做查找和替换所有 以下作品 以下操作不起作用 然而，这是有效的。 https://docs.snowflake.com/en/sql-reference/session-variables.html
-
分布式服务已成功启动：[2021 10月17日18:04:29693]信息已启动o.e.j.s.ServletContextHandler@1422ac7f{/，null，AVAILABLE}（org.eclipse.jetty.server.handler.ContextHandler:916）[2021 10月17日18:04:29693]初始化信息REST资源；服务器已启动并准备好处理请求（
-
如何使用雪花存储过程将current_date()bind变量插入到表中 创建或替换过程abc（“p_message_id”浮点数、“p_theater”字符串、“p_month”字符串、“p_message”字符串、“p_message”字符串、“p_start_date”字符串、“p_end_date”字符串、“p_action”字符串、“p_msg_type”字符串、“p_logged_us