Kafka代理是否存储元数据？
Kafka broker是否存储producer API使用的元数据(例如，哪个分区是主题的领导者等。)?根据我的理解，这些元数据存储在Zookeeper中，对吗？如果这是真的，那么动物园管理员如何更新经纪人的最新信息？
共有2个答案
Kafka是一个分布式系统，使用Zookeeper构建，负责控制器选择、主题配置、集群等。
更准确地说，动物园管理员发起控制器选举。控制器代理是Kafka集群中的一个代理，负责管理每个分区的主代理和从代理。当一个特定的代理关闭时，控制器会通知其他副本(以便处理分区领导等)。此外，当控制器失败时，Zookeeper发起新的选举，以便选举将充当控制器的新代理。
此外，Zookeeper知道哪些经纪人是Kafka集群的一部分，哪些经纪人仍然活着。类似地，它还知道特定于主题的信息，比如存在哪些主题、每个主题有多少个分区、副本在哪里等等。
Zookeeper还存储有关配额和ACL的信息，即每个客户端允许使用/生产多少数据量，以及允许谁消费或生产特定主题。
所有Kafka代理都可以回答描述集群当前状态的元数据请求：有哪些主题，这些主题有哪些分区，哪个代理是这些分区的领导者等。
ZooKeeper负责：
-
< li >选择一个控制器代理-并确保只有一个 < li >集群成员资格-允许代理加入集群 < li >主题配置-存在哪些主题，每个主题有多少个分区，副本在哪里，谁是首选主节点，为每个主题设置了什么配置覆盖 < li >配额-允许每个客户端读取和写入多少数据 < li > ACLs允许谁读取和写入哪个主题
Kafka和ZooKeeper之间有定期的通信，这样ZooKeeper就知道Kafka代理还活着（ZooKeeper心跳机制），并且还可以响应事件，例如正在创建的主题或主题分区的副本不同步。
-
本文向大家介绍sql 判断函数、存储过程是否存在的代码整理，包括了sql 判断函数、存储过程是否存在的代码整理的使用技巧和注意事项，需要的朋友参考一下 下面为您介绍sql下用了判断各种资源是否存在的代码，需要的朋友可以参考下，希望对您学习sql的函数及数据库能够有所帮助。
-
我正在开发Spark SQL应用程序，我有几个问题： 我读到Spark SQL在封面下使用Hive metastore？这是真的吗？我说的是一个纯Spark SQL应用程序，它不显式连接到任何配置单元安装 我正在启动一个Spark SQL应用程序，不需要使用Hive。有什么理由使用蜂箱吗？据我所知，Spark SQL比Hive快得多；所以，我看不出有任何理由使用蜂箱。但我说得对吗
-
问题内容： 在开发具有许多存储过程的应用程序时，是否应该将它们存储在某种源版本控制系统中（例如源安全，TFS，SVN）？如果是这样，为什么？是否有使用SQL Server Management Studio进行操作的便捷前端方法？ 问题答案： 是的。所有代码都应存储在源代码管理中。 简而言之，代码就是代码，并且会发生错误。能够回头看看随着时间的推移发生了什么变化并能够返回到那些变化，这是很好的。
-
在具有管道和转发功能的MIPS体系结构上： add指令将在步骤3（执行操作）准备好结果，但我假设sw指令希望在步骤2（指令解码）得到结果 David A. Patterson的《计算机组织与设计》一书中有一个已解决的练习：在以下代码段中找到危险并重新排序指令以避免任何管道停滞： 解决方案： 在解决方案中，它正确识别加载使用危险并相应地重新排列代码，但是否也存在执行存储危险？
-
我有一个用例，我需要从一个Kafka主题中消费，做一些工作，生成另一个只有一次语义的Kafka主题，并保存到mongo数据库。看完文档后，我想kafka事务和mongo事务可以同步，但它们仍然是两个不同的事务。在下面的场景中，如果mongo提交失败，是否有方法回滚提交到主题并从消费者处重播的kafka记录。
-
问题内容： 有人可以告诉我，在以下情况下如何进行？ 接收文件（MS文件，ODS，PDF） 通过Apache Tika提取公元核心元数据+通过jackrabbit-content-extractors提取内容 使用Jackrabbit将文档（内容）及其元数据存储到存储库中 ？ 检索文档+元数据 我对第3点和第4点感兴趣… 详细信息：该应用程序正在以交互方式处理文档（一些分析-语言检测，单词计数等。+