Amazon为Kafka-MSK特性和性能管理流媒体

Question

我正在评估AWS Managed Service Kafka(MSK)，我知道目前它处于预览模式，因此可能没有所有功能或适当的文档。我试图建立msk集群，并验证msk是否能满足我们公司的所有用例/需求，但目前，它缺乏文档和示例。

https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html

vi）如何对流经MSK的数据进行实时预测分析？

vii）与Azure/Confluent的其他基于云的kafka集群相比，MSK的可靠性有多高，与vanilla kafka相比，MSK的性能基准有多高？集群中最大的经纪人数量是多少？

Answer 1

MSK基本上是由aws定制和管理的普通apache kafka集群（根据集群实例类型、代理数量等预定义配置设置），并针对云环境进行了优化。

理想情况下，它应该能够执行开源Kafka支持的所有/大多数事情。另外，如果您有未记录的特定用例或需求，我建议您联系AWS支持部门，以进一步澄清kafka集群的托管部分（允许的最大代理数量、可靠性、成本）。

我将根据我的个人经历尝试回答您的问题：

sudo yum install confluent-kafka-rest 

bootstrap.servers=PLAINTEXT://10.0.10.106:9092,PLAINTEXT://10.0.20.27:9092,PLAINTEXT://10.0.0.119:9092
zookeeper.connect=10.0.10.83:2181,10.0.20.22:2181,10.0.0.218:2181
schema.registry.url=http://localhost:8081

kafka-rest-start kafka-rest.properties &

通过rest API使用curl或rest客户机/浏览器访问MSK。

获取主题列表

curl "http://localhost:8082/topics"

curl "http://<ec2 instance public ip>:8082/topics"

为了从内部机器或本地机器进行访问，必须在rest服务器运行的ec2实例上附加公共ip或弹性ip。

sudo yum install confluent-schema-registry

listeners=http://0.0.0.0:8081
kafkastore.connection.url=10.0.10.83:2181,10.0.20.22:2181,10.0.0.218:2181
kafkastore.bootstrap.servers=PLAINTEXT://10.0.10.106:9092,PLAINTEXT://10.0.20.27:9092,PLAINTEXT://10.0.0.119:9092
kafkastore.topic=_schemas
debug=false

schema-registry-start schema-registry.properties &

有关详细信息，请参阅：https://github.com/confluentinc/schema-registry

https://docs.confluent.io/current/schema-registry/docs/schema_registry_tutorial.html

语义是apache kafka的特性，虽然我没有在msk上测试过它，但我相信它应该支持这个特性，因为它只是开源apache kafka的一部分。

kafka-configs.sh --zookeeper 10.0.10.83:2181,10.0.20.22:2181,10.0.0.218:2181  --entity-type topics --entity-name jsontest --alter --add-config retention.ms=128000

curl "http://localhost:8082/topics/jsontest"

也是MSK Kafka的默认配置：

https://docs.aws.amazon.com/msk/latest/developerguide/msk-default-configuration.html

iv）是否有可能将MSK与其他AWS业务（如红移、EMR等）集成？

在MSK集群的vpc中启动EMR集群，在MSK集群安全组的入站规则中允许EMR主从安全组用于端口9092

启动火花壳

spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0

从spark结构流连接到MSK集群

val kafka = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "10.0.10.106:9092,10.0.20.27:9092,10.0.0.119:9092").option("subscribe", "jsontest") .load()

val df=kafka.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)").writeStream.format("console").start()

val df=kafka.selectExpr("CAST(value AS STRING)").writeStream.format("console").start()

sudo yum install confluent-ksql 

bootstrap.servers=10.0.10.106:9092,10.0.20.27:9092,10.0.0.119:9092
listeners=http://localhost:8088

**修改引导服务器IPS/URL。

启动ksql服务器

ksql-server-start ksql-server.properties &

之后，启动ksql cli

ksql http://localhost:8088

最后运行命令获取主题列表

ksql> SHOW TOPICS;

 Kafka Topic | Registered | Partitions | Partition Replicas | Consumers | ConsumerGroups 
-----------------------------------------------------------------------------------------
 _schemas    | false      | 1          | 3                  | 0         | 0              
 jsontest    | false      | 1          | 3                  | 1         | 1              
----------------------------- --------------------------------------------------

有关更多信息，请参阅https://github.com/confluentinc/ksql

vi）如何对流经MSK的数据进行实时预测分析？

vii）与Azure/Confluent的其他基于云的kafka集群相比，MSK的可靠性有多高，与vanilla kafka相比，MSK的性能基准有多高？集群中最大的经纪人数量是多少？

MSK正在预览中，你已经知道了，所以现在说它的可靠性还为时过早。但总的来说，像所有其他AWS服务一样，随着时间的推移，它应该会变得更加可靠，并希望有新的特性和更好的文档。

我不认为AWS或任何云供应商azure，google cloud提供了他们服务的性能基准，所以你必须从你的角度尝试性能测试。和kafka客户机/工具（kafka-productor-perf-test.sh,kafka-consumer-perf-test.sh）提供了一个性能基准测试脚本，可以执行该脚本来了解集群的性能。同样，在实际生产场景中对服务的性能测试会因各种因素而有很大差异，例如（消息大小、到达kafka的数据量、sync或async生产者、多少消费者等），性能将取决于特定的用途，而不是一般的基准测试。

sudo yum install curl which
  sudo rpm --import https://packages.confluent.io/rpm/5.1/archive.key

[Confluent.dist]
name=Confluent repository (dist)
baseurl=https://packages.confluent.io/rpm/5.1/7
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/5.1/archive.key
enabled=1

[Confluent]
name=Confluent repository
baseurl=https://packages.confluent.io/rpm/5.1
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/5.1/archive.key
enabled=1 

sudo yum clean all 

在MSK集群安全组的入站规则中允许ec2实例的安全组用于端口9092（连接代理）和2081（连接zookeeper）。

第2节：获取MSK集群代理和zookeeper URL/IP信息的命令

Zookeeper连接url端口

aws kafka describe-cluster --region us-east-1 --cluster-arn <cluster arn>

aws kafka get-bootstrap-brokers --region us-east-1 --cluster-arn <cluster arn>

希望您发现以上信息有用！！