C#FTP下载文件速度慢

Question

我有一个关于C#的ftp库的问题。我需要从ftp服务器下载9000个txt文件。火车站ToUpper（）是文件名，因此对于每个文件，我都需要一个新的ftp连接。对于一个文件，大约需要一秒钟。txt文件包含两行。因此，对于所有文件，大约需要一个半小时。是否有更好/更快的解决方案？

            // Get the object used to communicate with the server.
            FtpWebRequest request = (FtpWebRequest)WebRequest.Create(ftpAddress + station.ToUpper());
            //request.UsePassive = false;
            request.Method = WebRequestMethods.Ftp.DownloadFile;

            // This example assumes the FTP site uses anonymous logon.
            request.Credentials = new NetworkCredential("anonymous", "[e-mail]");

            FtpWebResponse response = (FtpWebResponse)request.GetResponse();

            Stream responseStream = response.GetResponseStream();
            StreamReader reader = new StreamReader(responseStream);

Answer 1

使用MGET命令避免每次重新建立连接。系统。Net客户端不支持MGET，因此您必须使用第三方库或脚本ftp。exe。无论您选择哪个客户端，FTP日志都将如下所示：

USER anonymous
PASS [e-mail]
CWD path/to/file
// to get 3 named files
MGET file1.txt file2.txt file3.txt
// or to get all files matching a pattern
MGET *.txt

文件传输将使用相同的控制会话，避免登录和其他网络开销。

可能感兴趣的一个库是FTPLib，它避免拆毁每个命令的通道。但是要小心，因为FTPLib基于wininet，不允许在NT服务中使用。

我还想看看LumiSoft，一个拥有友好许可证的开源项目和DotNetFtpLib，尽管我都没有使用过，也不能谈论它们的稳定性或特性集。在脚本方面，请看一下“使用FTP批处理脚本”。

Answer 2

您在这段代码中没有做错什么，除了您没有在流或响应对象上调用Dispose（）这一事实。首先这样做是为了确保您不会以某种方式耗尽客户端或其他地方的资源。

除此之外，您在这里没有太多的选项，这在很大程度上取决于您在服务器端可以做什么。

首先，您可以尝试使用线程一次下载一组文件。您需要试验这会如何影响吞吐量。它可能会线性扩展一段时间，然后下降。如果您打开了太多的连接，可能会激怒服务器的维护人员，也可能会开始拒绝您的连接。要保守。

最理想的情况是，文件将被压缩（. ZIP或. TGZ）在服务器上。如果您对进程没有更多的控制权，这可能不是一个选项。