perl6：一行一行读取大的gzip文件

Question

我试图在Perl6中逐行读取gz文件，但是，我被阻止了：

>

如何在Perl6中逐行读取gz文件，但是，这种方法将所有内容读入：out会使用太多的RAM，除了在非常小的文件上之外，它都不可用。

我不明白如何使用Perl6的压缩：：Zlib逐行获取所有内容，尽管我在他们的github上打开了一个问题 https://github.com/retupmoca/P6-Compress-Zlib/issues/17

我正在尝试用Perl5的< code>Compress::Zlib来翻译这段代码，这段代码在Perl5中运行得非常好:

use Compress::Zlib;
my $file = "data.txt.gz";
my $gz = gzopen($file, "rb") or die "Error reading $file: $gzerrno";

while ($gz->gzreadline($_) > 0) {
    # Process the line read in $_
}

die "Error reading $file: $gzerrno" if $gzerrno != Z_STREAM_END ;
$gz->gzclose() ;

在Perl6中使用Inline::Perl5来实现这样的事情：

use Compress::Zlib:from<Perl5>;
my $file = 'chrMT.1.vcf.gz';
my $gz = Compress::Zlib::new(gzopen($file, 'r');
while ($gz.gzreadline($_) > 0) {
  print $_;
}
$gz.gzclose();

但我不知道如何翻译：(

我被Lib::Archive example搞糊涂了https://github . com/frith nanth/perl 6-Archive-Lib Archive/blob/master/examples/readfile . P6我看不出我如何能在这里得到类似于第3项的东西

应该有这样的内容

$file.IO的＜code＞。线（gz）-

如何在 Perl6 中逐行读取大文件而不将所有内容读入 RAM？

Answer 1

我专注于您尝试的Inline::Perl5解决方案。

对于$gz.gzreadline（$_）的调用：似乎gzreadline试图通过修改其输入参数$_（被视为输出参数，但它不是真正的Perl 5引用变量^[1]）来返回从zip文件读取的行，但修改后的值没有返回到Perl 6脚本。

这里有一个可行的解决方法:在当前目录中创建一个包装器模块，例如。/MyZlibWrapper.pm:

package MyZlibWrapper;
use strict;
use warnings;
use Compress::Zlib ();
use Exporter qw(import);

our @EXPORT = qw(gzopen);
our $VERSION = 0.01;

sub gzopen {
    my ( $fn, $mode ) = @_;
    my $gz = Compress::Zlib::gzopen( $fn, $mode );
    my $self = {gz => $gz}; 
    return bless $self, __PACKAGE__;
}

sub gzreadline {
    my ( $self ) = @_;
    my $line = "";
    my $res = $self->{gz}->gzreadline($line);
    return [$res, $line];
}

sub gzclose {
    my ( $self ) = @_;
    $self->{gz}->gzclose();
}    

1;

然后在此包装器模块上使用Inline：：Perl5而不是Compress：：Zlib。例如/p.p6：

use v6;
use lib:from<Perl5> '.';
use MyZlibWrapper:from<Perl5>;
my $file = 'data.txt.gz';
my $mode = 'rb';
my $gz = gzopen($file, $mode);
loop {
    my ($res, $line) = $gz.gzreadline();
    last if $res == 0;
    print $line;
}
$gz.gzclose();

_{[1] 在 Perl 5 中，您可以修改不是引用的输入参数，更改将反映在调用方中。这是通过修改特殊 @_ 数组变量中的条目来完成的。例如：子引号 { $_[0] = “'$_[0]'” } $str = “Hello”; 引号（$str）将引用$str即使$str未通过引用传递。}

Answer 2

更新现已测试，显示错误，现已修复。

use Compress::Zlib;

my $file   = "data.txt.gz" ;
my $handle = try open $file or die "Error reading $file: $!" ;
my $zwrap  = zwrap($handle, :gzip) ;

for $zwrap.lines {
    .print
}

CATCH { default { die "Error reading $file: $_" } }

$handle.close ;

我已经用一个小的gzip文本文件测试了这一点。

对gzip等不太了解。但是基于以下几点得出了这个结论:

>

知道P6;

读取Compress：：Zlib的README，并选择zwrap例程；

查看模块的源代码，特别是zwrap例程的签名，我们的子zwrap（$thing，$zlib，$deflate，$gzip）；

而反复试验，主要是猜测我需要传递：gzip副词。

请评论我的代码是否适合您。我猜最主要的是它对于您拥有的大文件是否足够快。

随着解决方案#2的工作，我本来希望能够写：

use Compress::Zlib ;
.print for "data.txt.gz".&zwrap(:gzip).lines ;

但这失败了：

No such method 'eof' for invocant of type 'IO::Path'

这大概是因为这个模块是在IO类重组之前编写的。

这让我找到了@MattOates的IO：：Handle类似于带有的对象。哪些行？问题我注意到没有回应，也没有看到相关的回购https://github.com/MattOates?tab=repositories.