如何更高效地通过 http 下载大文件？

Question

我正在尝试下载大文件(

val client = OkHttpClient()
val request = Request.Builder().url(urlString).build()
val response = client.newCall(request).execute()

val is = response.body().byteStream()

val input = BufferedInputStream(is)
val output = FileOutputStream(file)

val data = ByteArray(1024)
val total = 0L
val count : Int
do {
    count = input.read(data)
    total += count
    output.write(data, 0, count)
} while (count != -1)

output.flush()
output.close()
input.close()

这是因为它在不使用太多内存的情况下下载文件，但它似乎不必要地无效，因为它不断尝试写入更多数据，而不知道是否有任何新数据到达。这似乎也通过我自己的测试得到了证实，同时在资源非常有限的VM上运行它，因为它似乎使用了更多的CPU，同时下载速度低于python中的类似脚本，并且使用wget是有原因的。

我想知道是否有一种方法可以让某些东西回调，如果x字节可用，或者它是文件的末尾，那么我就可以调用回调，这样我就不必在不知道是否有任何数据的情况下不断尝试获取更多数据。

编辑：如果用okhttp是不可能的，我用别的东西没有问题，只是我习惯了超文本传输协议库。

Answer 1

可以取消BufferedInputStream。或者，由于Oracle java中的默认缓冲区大小是8192，所以使用更大的字节数组，比如4096。

不过，最好是使用java.nio或try Files.copy:

Files.copy(is, file.toPath());

这将删除大约 12 行代码。

另一种方法是发送带有头的请求，以压缩gzip压缩接受编码：gzip，因此传输时间更短。在这里的响应中，当给出响应头内容编码：gzip时，可能在新gzip输入流（is）-中包装is。或者，如果可行，存储压缩文件，并添加一个以＜code＞结尾的附加值。广州<代码>我的传记。mdasmybiography.md.gz。

Answer 2

从版本11开始，Java有一个内置的HttpClient，它实现了

具有非阻塞背压的异步数据流

如果您希望您的代码只在有数据需要处理时运行，这就是您所需要的。

如果您有能力升级到Java 11，您将能够使用HttpResponse.bodyHandler开箱即用地解决问题。ofFile主体处理程序。您不必自己实现任何数据传输逻辑。

Kotlin 示例：

fun main(args: Array<String>) {    
    val client = HttpClient.newHttpClient()

    val request = HttpRequest.newBuilder()
            .uri(URI.create("https://www.google.com"))
            .GET()
            .build()

    println("Starting download...")
    client.send(request, HttpResponse.BodyHandlers.ofFile(Paths.get("google.html")))
    println("Done with download.")
}