汇流Kafka连接HDFS接收器连接器延迟
我有一个kafka主题，有200万条消息，我的刷新大小是100000，默认分区为分布式模式，有4个工作者，我可以看到数据在几秒钟内立即写入HDFS（10到15秒）。
我看到创建了一个+tmp目录和文件夹，并且每次触发一个新连接器时都会创建主题。
kafka connect的行为是每次都写得这么快，还是已经将数据存储在HDFS中，并根据连接器属性将其移动到主题目录？
我需要清楚这是怎么发生的。如果我的理解不对，请告诉我。
共有1个答案
kafka connect的行为是每次都写得这么快，还是已经将数据存储在HDFS中，并根据连接器属性将其移动到主题目录？
都有。它是一个在内存中缓冲的Kafka使用者，并写入HDFS上的预写日志。+tmp文件夹保存临时文件，这些文件被“压缩”到更大的HDFS文件中，并与Kafka使用者偏移量提交一起移动到最终位置。
计算此操作的延迟
如果我停止并删除/topics和/temp中的主题目录，并重新触发同一个主题，它会再次从Kafka中提取数据吗
直到HDFS connect的某个版本，我相信它是从HDFS中存储的偏移量恢复的。为了在任何其他Kafka消费者中从一开始就重新启动，您必须删除或重置消费者组。
如果删除了主题目录，HDFS中没有连接引用的其他位置，因此没有备份
-
我有一个Kafka连接接收器记录从Kafka主题到S3。它在工作，但太慢了。Kafka主题每秒接收约30000条消息。连接接收器无法跟上。我已经尝试增加Kafka连接器的任务。最大值从1到3，这会创建更多任务，但这似乎无助于提高消息/秒的速度。我试着增加Kafka连接工人的CPU分配，这似乎也没有帮助。 我还能试什么？哪些指标有助于监控以进一步识别瓶颈？ 更新：Kafka主题有5个分区。Kafka
-
我正在尝试使用Kafka连接接收器将文件从Kafka写入HDFS。 我的属性看起来像： 有什么建议吗？
-
我正在尝试将来自主题的数据（json数据）写入MySql数据库。我想我需要一个JDBC接收器连接器。 我如何配置连接器以将主题中的json数据映射到如何将数据插入数据库。 我能找到的文件只有这个。 “接收器连接器需要了解架构，因此您应该使用合适的转换器，例如架构注册表附带的Avro转换器，或启用了架构的JSON转换器。如果存在Kafka记录键，则可以是基元类型或连接结构，记录值必须是连接结构。从连
-
我们使用S3接收器连接器从MSK自动气象站的S3桶中接收数据。 我们已经在AWS EKS(Kubernetes)上部署了KafkaS3水槽连接器 当我们启动连接器时，当 S3 存储桶上发生分段上传时出现以下错误。 我们对S3存储桶有策略限制，因为启用了服务器端加密（AWS-KMS），即如果没有KMS密钥，我们无法上传。 下面是我们用于连接器的配置，下面是错误详细信息，供您参考。 好心帮忙 {"na
-
我想用Kafka HDFS接收器连接到Azure Blob存储。到目前为止，我已经做了： > 设置属性： 并在中添加了对WASB的支持： 你能帮我解决这个问题吗。有可能吗？
-
我们已经成功地使用了MySQL - 使用jdbc独立连接器的kafka数据摄取，但现在在分布式模式下使用相同的连接器（作为kafka connect服务）时面临问题。 用于独立连接器的命令，工作正常 - 现在，我们已经停止了这一项，并以分布式模式启动了kafka connect服务，如下所示 2 个节点当前正在运行具有相同连接服务。 连接服务已启动并正在运行，但它不会加载 下定义的连接器。 应该对