在这里的帮助下,我在windows机器上安装了Kafka服务器和zookeeper。我成功地在下面的日志中设置了一个主题MTETest,生成并使用与此主题相关的消息。
在管理员命令提示符下尝试使用安装附带的批处理文件停止和启动Kafka和Zookeeper时,我遇到了一个问题,Kafka服务器无法启动下面的消息-
在太阳下。尼奥。财政司司长。WindowsException。sun上的translateToIOException(WindowsException.java:86)。尼奥。财政司司长。WindowsException。sun上的rethrowAsIOException(WindowsException.java:97)。尼奥。财政司司长。WindowsException。sun上的rethrowAsIOException(WindowsException.java:102)。尼奥。财政司司长。WindowsFileSystemProvider。sun上的implDelete(WindowsFileSystemProvider.java:269)。尼奥。财政司司长。AbstractFileSystemProvider。deleteIfExists(AbstractFileSystemProvider.java:108)位于java。尼奥。文件文件夹。deleteIfExists(Files.java:1165)位于Kafka。日志日志$$anonfun$loadSegmentFiles$3。在Kafka应用(Log.scala:318)。日志日志$$anonfun$loadSegmentFiles$3。在scala上应用(Log.scala:279)。收集可遍历性,如$WithFilter$$anonfun$foreach$1。在scala上应用(TraversableLike.scala:733)。收集IndexedSeq优化了$class。在scala的foreach(索引SEQ优化。scala:33)。收集易变的。ArrayOps$ofRef。在scala的foreach(ArrayOps.scala:186)。收集像$WithFilter一样可遍历。Kafka的foreach(TraversableLike.scala:732)。日志日志在Kafka加载段文件(Log.scala:279)。日志日志Kafka的loadSegments(Log.scala:383)。日志日志(原载scala:186)在Kafka。日志日志$。在Kafka应用(Log.scala:1609)。日志日志管理器$$anonfun$loadLogs$2$$anonfun$5$$anonfun$apply$12$$anonfun$apply$1。在Kafka应用$mcV$sp(LogManager.scala:172)。乌提尔斯。CoreUtils$$anon$1。在java上运行(CoreUtils.scala:57)。util。同时发生的遗嘱执行人$runnableapter。在java上调用(Executors.java:511)。util。同时发生的未来任务。在java上运行(FutureTask.java:266)。util。同时发生的线程池执行器。java上的runWorker(ThreadPoolExecutor.java:1149)。util。同时发生的线程池执行器$Worker。在java上运行(ThreadPoolExecutor.java:624)。朗。丝线。运行(Thread.java:748)[2017-11-30 21:26:24606]警告发现由于需求失败而损坏的索引文件:发现损坏的索引,索引文件(C:\Source\Kafka\Kafka_2.11-0.11.0.1\sourcekafkafka_2.11-0.11\MTETestTopic-0\00000000000000000000.index)大小不为零,但最后一个偏移量为0,不大于基本偏移量0。}。正在删除C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\MTETestTopic-0\00000000000000。时间索引,C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\MTETestTopic-0\00000000000000。索引和C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\MTETestTopic-0\00000000000000。txnindex和重建索引。。。(kafka.log.log)[2017-11-30 21:26:24609]信息[kafka服务器0],正在关闭(kafka.Server.KafkaServer)[2017-11-30 21:26:24613]信息客户端事件线程。(org.I0Itec.zkclient.ZkEventThread)[2017-11-30 21:26:24615]警告由于要求失败而发现损坏的索引文件:找到损坏的索引,索引文件(C:\Source\Kafka\Kafka_2.11-0.11.0.1\sourcekafkafka_2.11-0.11.0.1_消费者_offsets-0\00000000000000.index)大小非零,但最后一个偏移量为0,不大于基本偏移量0。}。正在删除C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\u消费者\u偏移量-0\00000000000000。时间索引,C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\u消费者\u偏移量-0\00000000000000。索引和C:\Source\Kafka\Kafka_2.11-0.11。0.1\sourcekafkafka_2.11-0.11。0.1\u消费者\u偏移量-0\00000000000000。txnindex和重建索引。。。(kafka.log.log)[2017-11-30 21:26:24616]信息会话:0x1600d98747a0001关闭(org.apache.zookeeper.zookeer)[2017-11-30 21:26:24623]信息事件线程关闭用于会话:0x1600d98747a0001(org.apache.zookeer.ClientCnxn)[2017-11-30 21:26:24625]信息[kafka服务器0],关闭完成(kafka.server.KafkaServer)[2017-11-30 21:26:24626]致命退出kafka。(Kafka服务器Kafka服务器StarTable)[2017-11-30 21:26:24628]信息[Kafka服务器0],正在关闭(Kafka服务器Kafka服务器)
我已尝试更改设置-删除。话题根据kafka server中类似问题中的建议启用为true。属性,但这没有帮助。此外,我没有手动打开主题或其相关文件。任何人面对这个问题,请帮助。这个问题是windows特有的吗?
当我删除Kafka创建的主题及其相关物理文件夹时,它会成功加载,但这不是正确的做法。请提出正确的解决方案。谢谢
根据错误消息:
The process cannot access the file because it is being used by another process.
如何确保我总是从Kafka主题的一开始就与Flink一起消费? Kafka0.9。x consumer是Flink 1.0.2的一部分,它似乎不再是Kafka,而是Flink来控制偏移量: Flink在内部快照偏移量,作为其分布式检查点的一部分。Kafka/动物园管理员promise的补偿只是为了让外界对进展的看法与Flink对进展的看法保持同步。通过这种方式,监控和其他工作可以了解Flink K
我的spring boot项目有一个演示Kafka Streams API的应用程序。我可以使用以下命令使用主题中的所有消息 Kafka Streams API中使用KStream或ktable使用消息的类似命令是什么?我试过了 两者都不起作用。我确实创建了一个测试用例,用而不是流来使用,但它不起作用。代码上传到Github以供参考。任何帮助都会很好。
我最近在一个streams应用程序中遇到了一个以前没有遇到过的问题,它很难跟踪与键控/连接相关的问题(以及更新后的分区问题)。 我有两个主题(raw_events和processed_users),这两个主题的密钥相同,但是当我试图对这两个主题执行连接时,尽管密钥相同,但只有一些连接是成功的。 为简洁起见,应用程序的基本工作流程如下: null 问题本身是在步骤5中产生的。由于主题和主题之间的连接
Kafka MQ源连接器可以将事件从MQ带到1个Kafka主题,我们可以在Kafka MQ连接器内部进行基于消息的路由吗? 还是我们必须编写一个KStream应用程序来根据内容负载进行路由
我根据https://kafka.apache.org/24/documentation/streams/developer-guide/testing.html为kafka流应用程序编写了一个测试类,代码如下 其中我使用类序列化和反序列化值。 当我运行这段代码时,它会给出错误,其StackTrace如下: 如您所见,我已经初始化了输入和输出主题。我还调试了代码,当我从output topic中读
我在《掌握Kafka Streams and ksqlDB》一书中遇到了以下两个短语,作者使用了两个术语,它们的真正含义是“压缩主题”和“未压缩主题” 他们对“日志压缩”有什么看法吗? 表可以被认为是对数据库的更新。在日志的这种视图中,只保留每个键的当前状态(给定键的最新记录或某种聚合)。表通常是从压缩的主题构建的。 用数据库的说法,流可以被视为插入。每个不同的记录都保留在此日志视图中。流通常是从