调整kafka性能以每秒获得100万条消息
我使用3个VM服务器，每个都有16个核心/56 GB Ram /1TB，来设置一个kafka集群。我的工作与Kafka0.10.0版本。我在其中两个上安装了一个经纪人。我创建了一个主题，有2个分区，1个分区/代理，没有复制。
我的目标是每秒接收1 000 000条信息。
我用Kafka制作人perf test做了一个测试。sh script和我得到的消息在150000 msg/s和204000 msg/s之间。
我的配置是：
-批量大小：8k（8192）
-消息大小：300字节（0.3KB）
-线程数：1
生产者配置：
-request.required.acks=1
-排队。缓冲。max.ms=0#linger。ms=0
-compression.codec=无
-排队。缓冲。最大消息数=100000
-发送。缓冲器字节=100000000
任何帮助将不胜感激得到1 000 000 msg/s
非常感谢。
共有1个答案
您正在运行Apache Kafka的旧版本。最新版本（0.11）进行了改进，包括性能方面的改进。
您可能会发现这也很有用：https://www.confluent.io/blog/optimizing-apache-kafka-deployment/
-
本文向大家介绍解释如何调整Kafka以获得最佳性能。相关面试题，主要包含被问及解释如何调整Kafka以获得最佳性能。时的应答技巧和注意事项，需要的朋友参考一下 答：因此，调优Apache Kafka的方法是调优它的几个组件： 调整Kafka生产者 Kafka代理调优 调整Kafka消费者
-
我为回归问题建立了一个模型，即从9个输入变量中预测一个值。该模型的开发是基于Keras库的人工神经网络 在这个使用编译和拟合方法的模型中，我已经预测了输出值。然而，我得到了糟糕的评价分数。我使用RMSE和R2评估了模型 （已归一化的）预测值和标记值之间的RMSE为0.207，（原始形式）预测值和标记值之间的RMSE为215，R2为0.4 如何修改模型以获得更好的结果（低RMSE和高R2）？或者这种
-
问题内容： 使用Twitter4j API是否可以获得100条以上的推文？ 如果是这样，谁能指出这样做的方法？ 问题答案： 需要查看您的代码以提供特定于您的案例的代码示例，但是您可以通过或进行操作。 此信息适用于Twitter API。 要获取 前 100条推文： 在您刚刚通过查询检索的集合中找到 最低的 ID 使用设置为您刚刚找到的ID 的选项执行相同的查询。 要获取 接下来的 100条推文：
-
我试图在不和谐的情况下每隔x秒发送一条消息。js机器人。我知道如何做到这一点，但我遇到的问题是，即使我启用了slowmode，它也会发送垃圾邮件。我怎样才能解决这个问题？
-
主要内容：内存设置,JVM设置,远程连接,分布式配置调整在本章中，可以了解一些关于如何优化使用OrientDB的应用程序的一般技巧。 有三种方法可以提高不同类型数据库的性能。 文档数据库性能调整 - 它使用一种技术来帮助避免为每个新文档创建文档。 对象数据库性能调整 - 它使用通用技术来提高性能。 分布式配置调整 - 它使用不同的方法来提高分布式配置的性能。 可以通过更改内存，JVM和远程连接设置来实现通用性能调整。 内存设置 内存设置有不同的策略来提
-
Nautilus文件管理器是Gonme中使用频率最高的工具之一，下面介绍几个提高Nautilus性能的方法，使我们能有效地使用该工具。 在Nautilus中，与性能相关的首选项通常都可有三个可选项值，通过调整这三个选项值可达到调整Nautilus性能的目的，这三个选项值分别是： 总是（always）---对本地文件和其它文件系统上的文件都有效。性能最差，占用CPU资源和网络带宽最多。 本地文件（l