当前位置: 首页 > 知识库问答 >
问题:

如何在ConsumerSekCallback上查找之前分配分区?

萧萧迟
2023-03-14

我得到以下例外

java.lang.IllegalStateException: No current assignment for partition

在…上

(ConsumerSeekCallback)callback.seek(topic, partition, offset);

来自Kafka文献-

寻找虚空​(java.lang.String主题,int分区,长偏移量)

执行搜索操作。当从ConsumerSekAware调用时。onPartitionsAssigned(映射、ConsumerSekCallback)或来自ConsumerSekAware。onIdleContainer(Map,ConsumerSekCallback)立即对使用者执行搜索。从其他地方调用时,将seek操作排队给使用者。队列搜索将在任何挂起的偏移量提交后发生。当前必须为使用者分配指定的分区。

如果没有分配分区,我该怎么办?

共有1个答案

杨阳飇
2023-03-14

您可以在消费者SeekAware中捕获分配给您的主题-仅在您实际收到主题时执行查找。

如果扩展AbstractConsumerSekAware,则可以将其称为

java prettyprint-override">    /**
     * Return the callback for the specified topic/partition.
     * @param topicPartition the topic/partition.
     * @return the callback (or null if there is no assignment).
     */
    @Nullable
    protected ConsumerSeekCallback getSeekCallbackFor(TopicPartition topicPartition) {
        return this.callbacks.get(topicPartition);
    }
 类似资料:
  • 实际上,我正在尝试创建一个应用程序,有n个多媒体文件,其中包括图像和视频。我的应用程序大小大约为,我的资产大小大约为。当我在普通设备上加载应用程序时,我们没有遇到任何问题,但在具有的设备上,如等,应用程序在过程中崩溃,错误是“内存不足”。我已经用这个生成了错误报告。我也尝试过位图工厂。同时,我使用了数组的视频方法。 有谁能帮助解决这个问题吗? 致命异常:主进程:com.example.we.app

  • 我有3个Kafka经纪人在3个不同的VM,其中一个还运行一个Zookeeper。我现在创建一个有8个分区的主题。制作人在创建的“主题”上向这些经纪人组推送消息。 Kafka是如何在经纪人之间分配话题及其分区的? 当新的Kafka代理加入集群时,Kafka是否重新分发主题? 创建主题后是否可以增加主题分区?

  • 问题内容: 与空检查相比,变量分配是否昂贵?例如,在将foo分配为null之前是否值得检查其是否为null? 还是这无所顾忌? 问题答案: 这是一个微微优化(可能还是由编译器处理)。不用担心 通过专注于程序的实际算法,您将获得更大的回报。 我们应该忘记效率低下的问题,例如大约97%的时间:过早的优化是万恶之源。-唐纳德​​·努斯

  • 我有一个Kafka流媒体应用程序,它订阅了许多主题,每个主题都有许多分区。当我创建应用程序拓扑并启动它时,我是否知道哪些主题的哪些分区分配给我的应用程序的当前实例?我想知道这个独立于任何记录是否由这个实例处理。 我知道当我得到一条记录时,我可以做和获取正在处理的当前记录的分区/主题信息。但我不是在找那个。 我正在寻找一个等效的在kafka流侧。 我也尝试了以下代码,但我得到大小s为0。

  • spark如何给一个执行器分配一个分区? 当我使用 1 个驱动程序和 5 个执行器在火花外壳中运行以下行时: 重新分区后,10个分区仍然位于原来的两个节点上(总共5个)。这似乎非常低效,因为5个任务在包含分区的每个节点上重复运行,而不是平均分布在节点上。在同一个rdds上重复多次的迭代任务中,效率低下最为明显。 所以我的问题是,Spark如何决定哪个节点具有哪个分区,有没有办法强制将数据移动到其他

  • 这个和这个问题我都看过了。但我仍然无法为存储库方法设置分页。不确定我是否受到了bug的影响,或者只是写错了。基本上,我想问的是,是否有人可以提供一个示例,说明如何在通过@RepositoryRestResource注释导出的存储库方法上实现分页? 我实现分页的尝试 代码生成的错误消息 我还尝试删除pageable的方法param,结果导致了以下错误: 我在此项目中使用的依赖项。 null 更新:最