点燃数据流优化

Question

我正在使用以下设置：

 allowOverwrite: false 
 nodeParallelOperations: 1 
 autoFlushFrequency: 10 
 perNodeBufferSize: 5000000 

我的记录大小大约是2000字节。并查看“Grid-Data-Loader-Flusher”线程状态,如下所示：

线程数平均最长持续时间网格-数据-加载器-冲洗器-#100 38 4,737,793.579 30,427,862 180,036,156

数据流的最佳配置是什么？

谢谢

Answer 1

它的好处是有并行流模式的数据流。您可以通过在java Map中收集键值记录并在该Map上以并行模式调用Streamer.addData（）方法来实现这一点。这是片段。

maptoStream.entrySet().parallelStream().forEach(streamer::addData);

此外，如果您将allowOverWrite设置为false，那么您就不能使用自定义流接收器来处理记录集合。在这种情况下，如果该记录已经在缓存中，它将跳过该记录。
关于buffersize，您需要等到每次buffer满后才自动将其刷新到缓存中。冲水频率来拯救你在这种情况下，它将做定期冲水。因此，无论首先满足什么条件（缓冲区变满或刷新频率达到），它都将进行刷新。我更喜欢在上面的方法调用之后调用手动刷新。
我观察到streamer可以很好地处理更大的集合，您将并行调用streamer.addData（）方法。