当前位置: 首页 > 知识库问答 >
问题:

Kafka和梅索斯使用同一个动物园管理员的问题

巫马自明
2023-03-14

我尝试在我们的8节点集群上设置Kafka和Spark与Mesos,如下所示,但使用Mesos masters的zookeeperendpoint启动/启动Mesos代理时出现问题。

>

  • 在3个节点(服务器00、服务器01、服务器02)上安装和设置Zookeeper(通过$KAFKA_HOME/config/Zookeeper.properties)

    在所有 8 个节点上安装 Kafka 代理(并通过在其 $KAFKA_HOME/config/server.properties 中设置以下属性将其指向 3 个动物园管理员)

    zookeeper.connect=server00:2181, server01:2181, server02:2181

    在3个节点(server00、server01、server02)上安装Mesos master并使用以下行更新 /etc/mesos/zk:

    z k://服务器00:2181,服务器01:2181,服务器02:2181/Meso s

    在所有8个节点上安装Mesos代理。

    在所有其他服务器上编辑 /etc/mesos/zk 文件以包含以下行。

    z k://服务器00:2181,服务器01:2181,服务器02:2181/Meso s

    在所有3个主服务器上启动Mesos主服务器,如下所示(通过启动http://server00:5050/#/、http://server01:5050/#/、http://server02:5050/#/验证所有Mesos主服务器正在运行并且可用

    sudo/usr/sbin/mesos-master-cluster = server _ mesos _ cluster-log _ dir =/var/log/mesos-work _ dir =/var/lib/mesos

    在所有8台服务器上启动Mesos代理。在server00上启动此的示例:

    sudo /usr/sbin/mesos-slave--work_dir=/var/lib/Mesos--master=zk://server00:2181, server01:2181, server02:2181/Mesos--ip=9.1.69.150但上面没有启动代理。

    但是遵循命令确实让我觉得也许大师梅索斯没有在动物园管理员那里注册。

    sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150 
    

    有没有人能解释一下

    1. 我的配置不对或者
    2. 如果我必须为Mesos集群设置单独的动物园管理员?
    3. 我如何验证Mesos主人是否在动物园管理员处注册?

    一旦此设置正常工作,我打算在所有8个节点上运行Spark。

  • 共有1个答案

    闾丘选
    2023-03-14

    至少在Ubuntu上,/etc/mesos/zketc/memesos下的其他配置文件只能由/usr/bin/memesosinit包装器读取。因此,您的主机没有看到您的zk配置。

    您需要使用 init 脚本启动它(服务 mesos-master 启动),手动运行包装器,或使用 -zk 选项来 mesos-master

    sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos
    

    `

     类似资料:
    • 假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中,zoopkeepers 会发生什么?它们是为每个服务器单独维护的,还是会在群集配置中同步其数据?

    • 分布式 Apache HBase 安装依赖于正在运行的 ZooKeeper 集群。所有参与节点和客户端都需要能够访问正在运行的 ZooKeeper 集合。 Apache HBase 默认为您管理 ZooKeeper“集群”。它将启动和停止 ZooKeeper 集合作为 HBase 启动/停止过程的一部分。您还可以独立于 HBase 管理 ZooKeeper 集合,只需将 HBase 指向它应该使用

    • 在Zookeeper和代理身份验证上启用SASL时,我面临以下错误。 以下配置在JAAS文件中给出,该文件作为KAFKA_OPTS传递,将其作为JVM参数:- Kafka经纪人的服务器。属性设置了以下额外字段:- Zookeeper属性如下所示:

    • 我已经设置了一个带有SASL SCRAM安全性的Kafka集群,它运行良好。 根据文档,我使用了命令< code>kafka-configs.sh来创建用户名和密码,并授予该用户对主题的访问权限。 这也很棒。 但是, 命令本身不需要任何类型的身份验证,因此在我看来,任何人都可以运行该命令并在Kafka中创建自己的用户并授予自己的权限。 也许我需要在Zookeeper上启用SASL安全性?但我找不到

    • 如果我部署war,我将得到以下异常: 原因:org.apache.camel.resolveEndpointFailedException:无法解析endpoint:kafka://localhost:9092?serializerClass=kafka.serializer.stringencoder&topic=checking&zookeePerhost=localhost&zookeePe

    • 我正在尝试安装Kafka Kafka和Zookeeper正在运行Apache Kafka tarball(v 0 . 0 . 9 ),在Docker映像中。 尝试使用提供的脚本消费/生产。并尝试使用自己的java应用程序进行生产。如果Kafka一切正常 以下是我在尝试生成时遇到的错误: Kafka属性测试 首先: 第二: 第三: 上一个: 这是我的“/etc/hosts” 我遵循了入门指南,如果我