MongoDB客户端引发等待队列完全异常

Question

我看到了一个奇怪的问题。NET client for MongoDB抛出了一个等待队列，等待获取到服务器127.0.0.1:27017的连接已满 异常。

我有一个信号灯，可以保护对MongoDB的任何呼叫，大小为10。也就是说，对Mongo的并发调用永远不会超过10次。

默认连接池大小为100。NET驱动程序，超过10。所以10个并发调用应该不是问题。

为了复制这一点，我有下面的代码，是的，但它使问题变得明显。

我还为MongoDB找到了这个规范https://github.com/mongodb/specifications/blob/master/source/connection-monitoring-and-pooling/connection-monitoring-and-pooling.rst#id94

这是相关的吗？每个调用线程（在这种情况下是线程池工作线程）是否都进入等待队列并尝试获取连接，如果我有更多的工作线程，即使并发级别很低，连接仍然必须分配给这个新的调用工作线程？

using System;
using System.Threading.Tasks;
using MongoDB.Bson;
using MongoDB.Driver;
using System.Threading;

namespace ConsoleApp58
{
    public class AsyncSemaphore
    {
        private readonly SemaphoreSlim _semaphore;

        public AsyncSemaphore(int maxConcurrency)
        {
            _semaphore = new SemaphoreSlim(
                maxConcurrency,
                maxConcurrency
            );
        }

        public async Task<T> WaitAsync<T>(Task<T> task)
        {
            await _semaphore.WaitAsync();
            //proves we have the correct max concurrent calls
            //  Console.WriteLine(_semaphore.CurrentCount);

            try
            {
                var result = await task;
                return result;
            }
            finally
            {
                _semaphore.Release();
            }
        }
    }
    
    class Program
    {
        public class SomeEntity
        {
            public ObjectId Id { get; set; }
            public string Name { get; set; }
        }

        static void Main(string[] args)
        {
            var settings = MongoClientSettings.FromUrl(MongoUrl.Create("mongodb://127.0.0.1:27017"));
            // settings.MinConnectionPoolSize = 10;
            // settings.MaxConnectionPoolSize = 1000;
            
            // I get that I can tweak settings, but I want to know why this occurs at all?
            // if we guard the calls with a semaphore, how can this happen?

            var mongoClient = new MongoClient(settings);
            var someCollection = mongoClient.GetDatabase("dummydb").GetCollection<SomeEntity>("some");
            var a = new AsyncSemaphore(10);
            
            // is this somehow related ?
            // https://github.com/mongodb/specifications/blob/master/source/connection-monitoring-and-pooling/connection-monitoring-and-pooling.rst#id94


            _ = Task.Run(() =>
                {
                    while (true)
                    {
                        // this bit is protected by a semaphore of size 10
                        // (we will flood the thread pool with ongoing tasks, yes)
                        _ = a.WaitAsync(RunTask(someCollection))
                            //after the task is done, dump the result
                            // dot is OK, else exception message
                            .ContinueWith(x =>
                            {
                                if (x.IsFaulted)
                                {
                                    Console.WriteLine(x.Exception);
                                }
                            });
                    }
                }
            );

            Console.ReadLine();
        }

        private static async Task<SomeEntity> RunTask(IMongoCollection<SomeEntity> pids)
        {
            //simulate some mongo interaction here
            var res = await pids.Find(x => x.Name == "").FirstOrDefaultAsync();
            return res;
        }
    }
}




Answer 1

建立连接需要时间。您不会立即获得100个可用连接。如果您创建一个客户端并立即请求甚至10个操作，而没有可用连接，您可能会遇到等待队列超时。

一些司机也有等待队列长度限制。它不是标准化的，在我看来应该被弃用，但出于兼容性原因，它可能会继续存在。咨询驾驶员文档，了解如何提升。

然后，增加waitQueueTimeoutMS或逐步增加负载或在开始负载之前等待建立连接（您可以对后者使用CMAP事件）。

确保您的10个未完成操作的并发绑定实际上也正常工作。