使用vertx读取大文件

Question

我不熟悉使用vertx，我正在使用vertx文件系统api来读取大文件。

vertx.fileSystem().readFile("target/classes/readme.txt", result -> {
    if (result.succeeded()) {
        System.out.println(result.result());
    } else {
        System.err.println("Oh oh ..." + result.cause());
    }
});

但是RAM在读取时被消耗殆尽，资源在使用后甚至没有被刷新。vertx文件系统api还建议不要使用此方法读取非常大的文件，否则可能会耗尽可用的RAM。

除此之外还有其他选择吗？

Answer 1

原因是内部。readFile调用文件。readAllBytes。

相反，您应该做的是从文件中创建一个流，并将其传递给Vertx处理程序：

    try (InputStream steam = new FileInputStream("target/classes/readme.txt")) {
        // Your handling here
    }

Answer 2

要以块形式读取/处理大文件，您需要使用open（）方法，该方法将在成功时返回AsyncFile。在此AsyncFile上，您setReadBufferSize（）（或否，默认值为8192），并附加一个handler（），它将被传递一个最多为您刚刚设置的读取缓冲区大小的Buffer。

在下面的示例中，我还附加了一个endHandler（），以打印最后的换行符，以与您在问题中提供的示例代码保持一致：

vertx.fileSystem().open("target/classes/readme.txt", new OpenOptions().setWrite(false).setCreate(false), result -> {
    if (result.succeeded()) {
        result.result().setReadBufferSize(READ_BUFFER_SIZE).handler(data -> System.out.print(data.toString()))
                                            .endHandler(v -> System.out.println());
    } else {
        System.err.println("Oh oh ..." + result.cause());
    }
});

当然，您需要在某个地方定义READ_BUFFER_SIZE。

Answer 3

要读取大文件，应打开一个异步文件：

OpenOptions options = new OpenOptions();
fileSystem.open("myfile.txt", options, res -> {
    if (res.succeeded()) {
        AsyncFile file = res.result();
    } else {
        // Something went wrong!
    }
});

然后，异步文件是一个读取流，因此您可以将其与泵一起使用，将位复制到写入流：

Pump.pump(file, output).start();
file.endHandler((r) -> {
    System.out.println("Copy done");
});

有不同类型的WriteStream，如异步文件、网络套接字、HTTP服务器响应等。。。等