Gatling工具抛出GC开销限制超出

Question

我正在尝试运行一个使用Gatling工具中的提要方法的负载测试。目前，当我们使用一个大小约为3.5GB的文件，其中包含600000条记录时，Gatling失败，例外情况如下：模拟LoadTest模拟开始...

线程“main”java中出现异常。lang.OutOfMemoryError:超过java的GC开销限制。util。数组。java上的copyOf（Arrays.java:2367）。lang.StringBuilder。java上的expandCapacity（AbstractStringBuilder.java:130）。lang.StringBuilder。确保java上的RecapacityInternal（AbstractStringBuilder.java:114）。lang.StringBuilder。在java中追加（AbstractStringBuilder.java:535）。lang.StringBuffer。在java上追加（StringBuffer.java:322）。伊奥。BufferedReader。java上的readLine（BufferedReader.java:351）。伊奥。BufferedReader。scala上的readLine（BufferedReader.java:382）。伊奥。BufferedSource$BufferedLineIterator。scala上的hasNext（BufferedSource.scala:72）。收集迭代器$$anon$11。hasNext（迭代器。scala:369）在scala。收集迭代器$$anon$11。hasNext（迭代器。scala:369）在scala。收集迭代器$class。scala的foreach（迭代器。scala:742）。收集抽象迭代器。scala的foreach（迭代器，scala:1194）。收集通用的美元可增长类$在scala加上$eq（可增长。scala:59）。收集不变的矢量生成器$在scala加上$eq（Vector.scala:732）。收集不变的矢量生成器$在scala加上$plus$eq（Vector.scala:708）。收集TraversableOnce$类。到scala（可遍历一次。scala:308）。收集抽象迭代器。到scala的（迭代器.scala:1194）。收集TraversableOnce$类。scala的toVector（TraversableOnce.scala:304）。收集抽象迭代器。io上的toVector（迭代器，scala:1194）。加特林。果心饲养员。SeparatedValuesParser$$anonfun$parse$1。在io上应用（SeparatedValuesParser.scala:34）。加特林。果心饲养员。SeparatedValuesParser$$anonfun$parse$1。在io上应用（SeparatedValuesParser.scala:33）。加特林。果心util。IO$。在IO上使用Source（IO.scala:152）。加特林。果心饲养员。SeparatedValuesParser$。在io上解析（SeparatedValuesParser.scala:33）。加特林。果心饲养员。FeederSupport$$anonfun$分离值$1。在io应用（FeederSupport.scala:38）。加特林。果心饲养员。FeederSupport$$anonfun$分离值$1。在io应用（FeederSupport.scala:38）。加特林。果心饲养员。FeederSupport$class。io的feederBuilder（FeederSupport.scala:46）。加特林。果心Predef$。io上的feederBuilder（Predef.scala:32）。加特林。果心饲养员。FeederSupport$class。io上的分离值（FeederSupport.scala:38）。加特林。果心Predef$。io上的分离值（Predef.scala:32）。加特林。果心饲养员。FeederSupport$class。io上的分离值（FeederSupport.scala:35）。加特林。果心Predef$。io上的分离值（Predef.scala:32）。加特林。果心饲养员。FeederSupport$class。tsv（FeederSupport.scala:32）：加特林失败

我们正在使用gradle gatling任务，该任务使用这些参数--PjvmArgs=-Dbroker=brokerhost:9092-Dtopic=-Dusers=100-Dduration_in_mins=2-Dinput_file_name=-Psim=“LoadTestSimulation”。

val scn=场景（“演示”）。提要（tsv（inputFileName，true）。循环）。执行官（Kafka（“请求”）。sendString，String）

setUp（scn.inject（constantUsersPerSec（users.toDouble）在（duration.toInt分钟）））//scn.inject

任何建议或提示，我们是否应该将文件拆分为多个文件并运行，而不是传递这么大的文件，该文件是否会立即加载到内存中？

Answer 1

您使用的是TSV，即标签分隔的文件馈送器。官方文件是这样说的：

这些内置函数返回RecordSeqFeederBuilder实例，这意味着整个文件被加载到内存中并被解析，因此生成的馈送器在模拟运行期间不会读取磁盘。

或者更好：

在内存中加载feeder文件会占用大量堆，与文件大小的比例为5到10倍。这是由于JVM的内部UTF-16字符编码和对象头开销造成的。如果内存对您来说是一个问题，那么您可能希望动态读取文件系统并构建自己的Feeder。

有关更多信息，请参阅CSV Feeders。

您“可以”做的是尝试增加足够的内存，以允许JVM和GC对内存中如此“巨大”的文件进行操作，我认为由于您的异常原因，这将无法正常工作（请参阅此处的更多信息）

所以我想你唯一的选择是编写自己的进纸器，它可以动态地从文件中读取数据。