使用HttpClient的并发请求比预期的要长

Question

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Net;
using System.Net.Http;
using System.Threading.Tasks;

namespace CallTest
{
    public class Program
    {
        private static readonly HttpClient _httpClient = new HttpClient(new HttpClientHandler { Proxy = null, UseProxy = false });

        static void Main(string[] args)
        {
            ServicePointManager.DefaultConnectionLimit = 100;
            ServicePointManager.Expect100Continue = false;

            // warmup
            CallSomeWebsite().GetAwaiter().GetResult();
            CallSomeWebsite().GetAwaiter().GetResult();

            RunSequentiell().GetAwaiter().GetResult();

            RunParallel().GetAwaiter().GetResult();
        }

        private static async Task RunParallel()
        {
            var tasks = new List<Task>();
            for (var i = 0; i < 300; i++)
            {
                tasks.Add(CallSomeWebsite());
            }
            await Task.WhenAll(tasks);
        }

        private static async Task RunSequentiell()
        {
            var tasks = new List<Task>();
            for (var i = 0; i < 300; i++)
            {
                await CallSomeWebsite();
            }
        }

        private static async Task CallSomeWebsite()
        {
            var watch = Stopwatch.StartNew();
            using (var result = await _httpClient.GetAsync("http://example.com").ConfigureAwait(false))
            {
                // more work here, like checking success etc.
                Console.WriteLine(watch.ElapsedMilliseconds);
            }
        }
    }
}

我如何才能为并行请求获得相同的性能？这是线程池问题吗？

Answer 1

NET Core2.1已经修复了此行为。我认为问题是HttpClient使用的底层windows WinHTTP处理程序。

在.NET Core 2.1中，他们重写了HttpClientHandler（请参见https://blogs.msdn.microsoft.com/dotnet/2018/04/18/performance-in-net-core-2-1/#user-content-networking):

在.NET Core 2.1中，HttpClientHandler有一个新的默认实现，它完全在C#中实现，而不是在其他System.NET库（例如System.Net.Sockets、System.Net.Security等）之上。这不仅解决了前面提到的行为问题，还显著提高了性能（该实现还作为SocketsHttpHandler公开，可以直接使用它而不是通过HttpClientHandler来配置SocketsHttpHandler特定的属性）。

这最终消除了问题中提到的瓶颈。

在.NET Core2.0上，我得到以下数字（以毫秒为单位）：

Fetching URL 500 times...
Sequentiell   Total: 4209, Max:  35, Min: 6, Avg:  8.418
Parallel      Total:  822, Max: 338, Min: 7, Avg: 69.126

但是在.NET Core2.1上，单个并行HTTP请求似乎有了很大的改进：

Fetching URL 500 times...
Sequentiell   Total: 4020, Max:  40, Min: 6, Avg:  8.040
Parallel      Total:  795, Max:  76, Min: 5, Avg:  7.972