Qt中的最佳生产者/消费者线程模式

Question

我已经使用Qt线程实现了生产者/消费者模式。多个生产者线程生成由消费者组合的数据。使用信号/时隙和排队连接实现通信。只要使用者能够比生产者线程更快地消耗数据，这就可以正常工作。

很难使我的代码缩放。特别是增加生产者的数量很容易，但很难产生一个以上的消费线程。

现在，当在具有许多内核的CPU/系统上运行软件时，问题就出现了。在这种情况下，我使用更多的线程来产生数据。有时会发生(取决于数据生成的复杂性)消费者不能及时处理生成的数据。然后，Qt事件队列会很快被事件填满，内存消耗会急剧增加。

我可以通过使用阻塞排队的连接来解决此问题。然而，这不允许完全的CPU负载，因为生产者倾向于在每次数据发射后不必要地等待消费者。

在非Qt软件中，我会使用一个固定大小的队列/邮箱/环形缓冲区，让生产者Hibernate，直到消费者释放容器中的空间。这种机制限制了内存消耗，并允许尽可能好的CPU负载。

然而，我无法使用Qt类找到等价的解决方案。事件队列是全局的，没有大小属性。有没有一个Qt的方法可以最优的解决这个问题？如果没有，有没有STL类可以用来耦合(Q)线程？

Answer 1

在这种情况下，我认为您应该放弃使用Qt，因为尽管事件处理速度非常快，但它显然不是为面向众核的HPC工作负载而设计的(因为集中式顺序事件队列)。所以我认为你应该使用快速原子多生产者/多消费者(MPMC)队列。虽然您可以在此基础上编写一个Qt事件层，但我不确定这在性能方面是否是一个好主意。另一个解决方案是使用可变大小的块来减少事件的数量(在生产者和消费者之间有一个反馈环)。请注意，对于您的工作负载，考虑使用基于任务的运行时可能是好的(众所周知可伸缩性很好)。

如果您正在寻找快速的MPMC队列，则Boost（boost：：lockfree：：queue）提供的队列不是很快，但这通常就足够了。我所知道的最好的一个就是这个。它基于研究论文并用于大型游戏。在我的机器上，这个在特定情况下略快，并且更灵活，但在使用它时应该非常小心，因为并不总是确保一致性（即阅读文档）。请注意，线程库在队列的选择中无关紧要。