在mesos DCOS上运行kafka发布消息的问题
我有一个运行DCOS的小集群。我能够成功安装Kafka遵循本指南。跑步
$ dcos kafka connection
{
"address": [
"10.131.17.126:9475",
"10.131.24.6:9655",
"10.131.14.192:9181"
],
"zookeeper": "master.mesos:2181/dcos-service-kafka",
"dns": [
"broker-0.kafka.mesos:9475",
"broker-1.kafka.mesos:9655",
"broker-2.kafka.mesos:9181"
]
}
get /dcos-service-kafka/brokers/ids/0
{"jmx_port":-1,"timestamp":"1474206074029","endpoints":["PLAINTEXT://10.131.17.126:9475"],"host":"10.131.17.126","version":3,"port":9475}
get /dcos-service-kafka/brokers/ids/1
{"jmx_port":-1,"timestamp":"1474206120002","endpoints":["PLAINTEXT://10.131.24.6:9655"],"host":"10.131.24.6","version":3,"port":9655}
get /dcos-service-kafka/brokers/ids/2
{"jmx_port":-1,"timestamp":"1474206122985","endpoints":["PLAINTEXT://10.131.14.192:9181"],"host":"10.131.14.192","version":3,"port":9181}
echo "Hello, World." | ./kafka-console-producer.sh --broker-list 10.131.17.126:9475, 10.131.24.6:9655, 10.131.14.192:9181 --topic topic1
[2016-09-18 18:49:32,909] ERROR Error when sending message to topic topic1 with key: null, value: 13 bytes with error: Failed to update metadata after 60000 ms. (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
谢谢
AJ
共有1个答案
Update-这似乎是由/etc/hosts中缺少条目引起的。我已经更新了我的terraform脚本，以便在安装过程中编写这些代码，上面的示例现在按预期工作。
谢谢你的帮助
-
问题内容： 我们已经编写了一个Java客户端，用于将消息发布到kafka。代码如下所示 当我们执行此代码时，我们得到以下消息和异常 这发生在无限循环中，并且应用程序挂起…当我们检查kafka代理时，发现该主题已创建…但是我们没有收到消息…我们已经坚持了一段时间。 .. 请帮忙 问题答案： 我们终于解决了这个问题…我们在混合环境中运行kafka，如下文所述- https://medium.com/@
-
物联网有很多设备，通过这条指令可以向某个特定的物联网设备发送特定的消息内容。 请求方式： "|4|1|3|topic|message|" 参数： topic 设置订阅的topic,获取设备topic可参考教程 message 发布消息的内容 返回值： "|4|1|3|1|\r" 消息发送成功 "|4|1|3|2|\r" 消息发送失败 Arduino样例： softSerial.print("|4|
-
需要帮助才能获得帮助，将GCP（Google Cloud Pubsub）的所有消息发布到远程运行的Kafka主题 我使用了“https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76”中的连接器代码，并且能够将数据从GCP移动到Kafka主题。Kafka
-
我有一个用例“XML文件==>Kafka主题==>Build REST API to Query”来自Kafka主题的数据。我熟悉将数据转换为Avro格式，并编写到kafka主题。 您能建议如何发布XML吗？
-
我在discord.py做了一个机器人，希望我的机器人在网络钩子在特定频道发送消息时定位一个角色。有办法这么做吗？现在所有我有的是通道ID和我很确定这是一个客户端事件
-
Kafka在2个代理和1个Zookeeper实例中的奇怪问题，都在AWS上。每个代理都位于一个单独的可用性区域(AZ)。孤独的动物园管理员实例与其中一个代理共享AZ。我正试图模拟一种滚动重启的情况，在这种情况下，即使一个代理出现故障，我们也希望数据流向Kafka。 当另一个 AZ 代理被移除时，我能够看到向与 Zookeeper 共享 AZ 的代理平稳过渡。但是，当我删除与 Zookeeper 共