我已经在Ubuntu 16.04机器上安装了合流平台,并初步配置了zookeeper、Kafka和ksql,启动了合流平台。我可以看到下面的消息。
root@DESKTOP-DIB3097:/opt/kafkafull/confluent-5.1.0/bin# ./confluent start
This CLI is intended for development only, not for production
https://docs.confluent.io/current/cli/index.html
Using CONFLUENT_CURRENT: /tmp/confluent.HUlCltYT
Starting zookeeper
zookeeper is [UP]
Starting kafka
kafka is [UP]
Starting schema-registry
schema-registry is [UP]
Starting kafka-rest
kafka-rest is [UP]
Starting connect
connect is [UP]
Starting ksql-server
ksql-server is [UP]
Starting control-center
control-center is [UP]
现在一切都启动了,当我检查融合平台的状态时,我观察到Schema注册表,连接
我已经检查了schema注册表的日志,找到了下面的日志。
ERROR Error starting the schema registry (io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication)
io.confluent.kafka.schemaregistry.exceptions.SchemaRegistryInitializationException: Error initializing kafka store while initializing schema registry
at io.confluent.kafka.schemaregistry.storage.KafkaSchemaRegistry.init(KafkaSchemaRegistry.java:210)
at io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication.initSchemaRegistry(SchemaRegistryRestApplication.java:61)
at io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication.setupResources(SchemaRegistryRestApplication.java:72)
at io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication.setupResources(SchemaRegistryRestApplication.java:39)
at io.confluent.rest.Application.createServer(Application.java:201)
at io.confluent.kafka.schemaregistry.rest.SchemaRegistryMain.main(SchemaRegistryMain.java:41)
Caused by: io.confluent.kafka.schemaregistry.storage.exceptions.StoreInitializationException: io.confluent.kafka.schemaregistry.storage.exceptions.StoreException: Failed to write Noop record to kafka store.
at io.confluent.kafka.schemaregistry.storage.KafkaStore.init(KafkaStore.java:137)
at io.confluent.kafka.schemaregistry.storage.KafkaSchemaRegistry.init(KafkaSchemaRegistry.java:208)
... 5 more
Caused by: io.confluent.kafka.schemaregistry.storage.exceptions.StoreException: Failed to write Noop record to kafka store.
at io.confluent.kafka.schemaregistry.storage.KafkaStore.getLatestOffset(KafkaStore.java:422)
at io.confluent.kafka.schemaregistry.storage.KafkaStore.waitUntilKafkaReaderReachesLastOffset(KafkaStore.java:275)
at io.confluent.kafka.schemaregistry.storage.KafkaStore.init(KafkaStore.java:135)
... 6 more
Caused by: java.util.concurrent.TimeoutException: Timeout after waiting for 60000 ms.
at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:78)
at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:30)
at io.confluent.kafka.schemaregistry.storage.KafkaStore.getLatestOffset(KafkaStore.java:417)
... 8 more
我想,我找到了答案,
在Kafka配置文件中添加属性主机.name=host_ip_address
它将充当Kafka代理主机。因此,在 Kafka 引导属性所在的所有配置文件中,将其更改为相应的主机名或 IP 地址,如下所示。
bootstrap.servers=192.168.0.193:9092
示例:在模式注册表配置中,我已将以下属性从本地主机更改为相应的IP地址
kafkastore.bootstrap.servers=PLAINTEXT://192.168.0.193:9092 ##
在其他文件中,检查属性bootstrap.servers=192.168.0.193:9092
是否正确引用。还检查模式注册表配置文件是否正确引用。
(实际上,您可以检查和比较/tmp/confluent
kafka日志中的配置文件)
现在,在更改所有配置文件后,服务已启动并运行。
在< code > $ CONFLUENT _ HOME/etc/Kafka 中,您会看到server.properties。
取消对以下内容的注释并按以下方式更新
>
侦听器=PLAINTEXT://0.0.0.0:9092
< code > advertised . listeners = PLAINTEXT://localhost:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLA INTEXT,SASL_SSL:SASL_SSL
在
$CONFLUENT_HOME/etc/schema注册表中,您将看到模式注册表。属性,按如下方式打开和更新
监听器=http://0.0.0.0:9092
嘿,我想将ConFluent模式注册表与Avro Serializers一起使用:留档现在基本上是说:不要为多个不同的主题使用相同的模式 谁能解释一下原因吗?我重新搜索了源代码,它基本上将模式存储在Kafka主题中,如下所示(topicname,magicbytes,version- 因此,除了冗余之外,我看不到多次使用模式的问题?
我正在使用ConFluent托管的Kafka集群和Schema注册表服务。我可以管理连接汇合云kafka集群,将以下属性添加到生产者配置(Scala) 但是不能连接到汇合云模式注册表。汇合云模式注册表提供了访问的键和秘密,但我不知道如何设置键和秘密。是否有任何配置设置用于访问汇合云模式注册表。
我正在尝试将融合模式注册表部署到我们的内部AWS基础设施(ECS)中,以便它可以作为RESTAPI使用。完整图像已从Confluent获得,网址为: https://hub.docker.com/r/confluentinc/cp-schema-registry 我创建了一个Dockerfile,用于部署具有以下配置的Dockerfile: 我需要为同一服务启用身份验证和授权。根据我的理解,可以通
我有一个docker容器运行AWS弹性容器服务(Fargate)中的confluentinc/cp模式注册表:5.5.0。只有一个容器正在运行。通过该模式注册表获取当前注册模式的API调用正在工作(例如,
我正在尝试从模式注册表中检索给定kafka主题的模式主题版本。我可以使用成功发布新版本,但我不确定如何检索版本。我在下面尝试使用curl请求,但结果立即命中-1(空)。 我如何修复这个GET请求,或者更好的是,我应该如何使用模式注册中心来检索一个模式?
对于跨网络汇流平台,我们有一个kafka集群在Premise上,另一个在AWS上,其中数据使用mirror Maker从on-prem复制到AWS。这两个集群都独立于它们自己的模式注册表、rest代理和Connect,这两个集群都有不同的生产者和消费者集,并且选择的主题在集群之间被镜像。 部署schema-registry的最佳实践应该是什么?我们是否应该在on-prem和AWS上有一个主服务器(