如何使用Go有效地下载大文件？
是否有一种使用Go下载大文件的方法，该方法会将内容直接存储到文件中，而不是将所有内容都存储到内存中再写入文件？由于文件太大，因此在将其全部写入内存之前将其全部存储在内存中将耗尽所有内存。
问题答案：
我假设您的意思是通过http下载（为简便起见，省略了错误检查）：
import ("net/http"; "io"; "os")
...
out, err := os.Create("output.txt")
defer out.Close()
...
resp, err := http.Get("http://example.com/")
defer resp.Body.Close()
...
n, err := io.Copy(out, resp.Body)
http.Response的主体是阅读器，因此您可以使用带有阅读器的任何功能，例如一次读取一个块，而不是一次读取所有块。在这种情况下，您会io.Copy()做些麻烦的事情。
-
我正在尝试下载大文件( 这是因为它在不使用太多内存的情况下下载文件，但它似乎不必要地无效，因为它不断尝试写入更多数据，而不知道是否有任何新数据到达。这似乎也通过我自己的测试得到了证实，同时在资源非常有限的VM上运行它，因为它似乎使用了更多的CPU，同时下载速度低于python中的类似脚本，并且使用是有原因的。 我想知道是否有一种方法可以让某些东西回调，如果x字节可用，或者它是文件的末尾，那么我就可
-
问题内容： 我想使用go http包从go lang中的url下载文件，然后将图像保存到磁盘以供以后在我的网页上显示。我该怎么做呢？ 我需要这样做是因为我想从instagram下载图像并将其保存到我的公共文件夹中以便在我的网页上显示。 我在下面创建了一个答案，供其他人使用我想出的代码。 问题答案： 经过一番研究，我想到了这一点。 它运行良好，但可能需要进行一些改进才能用于生产。
-
问题内容： 我需要使用curl下载远程文件。 这是我的示例代码： 但是它不能处理大文件，因为它首先读取内存。 是否可以将文件直接流式传输到磁盘？ 问题答案：
-
我们有一个运行在Linux上的Weblogic服务器，有多个受管服务器。我所关心的托管服务器的最大堆大小为1024MB。该服务器上部署了多个应用程序。其中一个应用程序处理来自REST api的响应来下载250MB的文件。对于大于50 MB的文件，有时没有问题，但有时服务器会因OOM错误而崩溃。以下是我的代码: 由于存在内存问题，我尝试采用InpuStream方法。以下是更改后的代码： 此代码没有进
-
问题内容： 我有一个150MB的单张excel文件，使用以下命令在功能非常强大的计算机上打开大约需要7分钟： 有什么办法可以更快地打开excel文件吗？我愿意接受甚至非常古怪的建议（例如hadoop，spark，c，java等）。理想情况下，如果这不是白日梦，我正在寻找一种在30秒内打开文件的方法。另外，上面的示例使用的是python，但不一定必须是python。 注意：这是来自客户端的Excel
-
问题内容： 我正在尝试获取下载链接并下载文件。 我有一个包含以下链接的日志文件： 我有这样的代码： 到目前为止，我不知道如何获取下载链接并下载它。可以使用selenium下载文件吗？ 问题答案： 根据文档，您应该配置为自动下载具有指定内容类型的文件。这是在txt文件中使用第一个URL的示例，该文件将文件保存在当前目录中： 注意，我也简化了xpath。