当前位置: 首页 > 知识库问答 >
问题:

优化数据流池大小以提高点火性能

韩智敏
2023-03-14

我正在使用ignite2.6,其中有数据流节点,从kafka消耗数据并放入Ignite缓存。服务器平均负载较高,吞吐量降低。

我已经尝试为缓存中定义的索引内联设置索引大小,这样可以提供良好的性能,但也增加了服务器内存利用率和较高的平均负载。请说明在这种情况下增加datastreamer线程池大小会产生什么影响。

共有1个答案

罗波鸿
2023-03-14

在优化数据流性能时,您需要了解瓶颈在哪里。它可能在数据节点上,也可能在流式节点上。服务器插入数据的速度可能很慢,或者流媒体的负载太少。CPU、内存、网络、磁盘资源可以在任一方被抽干。因此,在尝试优化配置参数之前,请尝试寻找导致缓慢的原因。使用JFR、JProfiler、VisualVM或类似的东西可能会对您有所帮助。

如果瓶颈在流端,那么在大多数情况下,对来自多个线程的单个数据流调用igniteDataStreamer#addData会增加服务器的利用率。

如果您在服务器端看到了问题,那么您可能需要增加服务器的数量或尝试优化插入时间。

 类似资料:
  • 在我的ASP. net网站,我有一个连接到SQL服务器快速数据库。有时候我确实会犯很多错误,比如 系统。异常:超时已过期。从池中获取连接之前的超时时间。这可能是因为所有池连接都在使用中,并且达到了最大池大小。 搜索错误后,我发现可能是由于SQL Server连接未关闭。但是我已经正确地使用了SQL Server连接,并且正确地处理了它。我已使用using语句处理连接。在我的应用程序中,我在一天中的

  • 我正在使用以下设置: 我的记录大小大约是2000字节。并查看“Grid-Data-Loader-Flusher”线程状态,如下所示: 线程数平均最长持续时间网格-数据-加载器-冲洗器-#100 38 4,737,793.579 30,427,862 180,036,156 数据流的最佳配置是什么? 谢谢

  • 本文向大家介绍提高jQuery性能优化的技巧,包括了提高jQuery性能优化的技巧的使用技巧和注意事项,需要的朋友参考一下 下面把提高jQuery性能优化技巧给大家分享如下: 缓存变量 DOM遍历是昂贵的,所以尽量将会重用的元素缓存。 避免全局变量 jQuery与javascript一样,一般来说,最好确保你的变量在函数作用域内。 使用匈牙利命名法 在变量前加$前缀,便于识别出jQuery对象。

  • 问题内容: 我有一个庞大的3D点数据集(约190万行)可供选择。我最常使用的语句类似于: 我有关于x,y和z以及otherParameter的索引。我也尝试将多部分索引添加到x,y,z,但这没有帮助。 关于如何使此查询更快的任何建议? 问题答案: 索引对于这种查询没有多大帮助。 您需要什么作为索引以及对其进行最小限度的平行六面体查询。 不幸的是,仅不支持对点的索引。但是,您可以在创建索引时,比方说

  • 本文向大家介绍列举CSS优化、提高性能的方法相关面试题,主要包含被问及列举CSS优化、提高性能的方法时的应答技巧和注意事项,需要的朋友参考一下 加载性能 压缩CSS 通过link方式加载,而不是@import 复合属性其实分开写,执行效率更高,因为CSS最终也还是要去解析如 选择器性能 尽量少的使用嵌套,可以采用BEM的方式来解决命名冲突 尽量少甚至是不使用标签选择器,这个性能实在是差,同样的还有

  • 我正在构建作用于多个流的Apache Spark应用程序。 我确实阅读了文档中的性能调优部分:http://spark.apache.org/docs/latest/streaming-programming-guide.html#performan-tuning 我没有得到的是: 1)流媒体接收器是位于多个工作节点上,还是位于驱动程序机器上? 2)如果接收数据的节点之一失败(断电/重新启动)会发