使用Perl6处理大型文本文件，速度太慢。（2014-09）

Question

https://github.com/yeahnoob/perl6-perf 中的代码宿主，如下所示：

use v6;

my $file=open "wordpairs.txt", :r;

my %dict;
my $line;

repeat {
    $line=$file.get;
    my ($p1,$p2)=$line.split(' ');
    if ?%dict{$p1} {
        %dict{$p1} = "{%dict{$p1}} {$p2}".words;
    } else {
        %dict{$p1} = $p2;
    }
} while !$file.eof;

在“wordpairs.txt”很小的情况下运行良好。

但是当“单词对.txt”html" target="_blank">文件大约有140，000行（每行，两个单词）时，它的运行非常非常慢。它不能自己完成，即使在运行20秒后也是如此。

它有什么问题？代码中是否有任何错误？？感谢任何人的帮助！

代码（目前，2014-09-04）：

my %dict;
grammar WordPairs {
token word-pair { (\S*) ' ' (\S*) "\n" }
token TOP { <word-pair>* }
}
class WordPairsActions {
method word-pair($/) { %dict{$0}.push($1) }
}
my $match = WordPairs.parse(slurp, :actions(WordPairsActions));
say ?$match;

运行时间成本（目前）：

$ time perl6 countpairs.pl wordpairs.txt
True
The pairs count of the key word "her" in wordpairs.txt is 1036

real    0m24.043s
user    0m23.854s
sys     0m0.181s

$ perl6 --version
This is perl6 version 2014.08 built on MoarVM version 2014.08

这个测试的时间性能现在还不合理(因为同样的Perl 5代码只花费了大约160ms)，但是比我原来的旧Perl6代码好得多。:)

PS。整个东西，包括原始测试代码、补丁和示例文本，都在github上。

Answer 1

Rakudo并不以其出色的表现而闻名。

使用更惯用的代码可能有帮助，也可能没有帮助：

my %dict;
for open('wordpairs.txt', :r).lines {
    my ($key, @words) = .words;
    push %dict{$key}, @words;
}

您还可以检查其他后端（Rakudo在MoarVM，鹦鹉和JVM上运行），看看它是否在任何地方都同样慢。

如果知道是IO还是处理速度慢（如通过

my %dict;

say 'start IO';
my @lines = eager open('wordpairs.txt', :r).lines;
say 'done IO';

say 'start processing';
for @lines { ... }
say 'done processing';

我相信如果你想自己深入研究这个问题，也可以使用一个剖析器。

Answer 2

我用一个包含10，000行的文件，用与Christoph非常相似的代码对此进行了测试。这大约需要15秒，正如你所说的，比Perl 5慢得多。我怀疑这段代码很慢，因为这段代码使用的一些东西没有像Rakudo和MoarVM的其他部分最近得到的那样多的优化工作。我确信在接下来的几个月里，代码的性能将会得到显著的提高，因为无论什么东西慢都会得到更多的关注。

当试图确定某些Perl 6代码速度慢的原因时，我建议使用--profile在MoarVM上运行perl6，看看它是否有助于找到瓶颈。不幸的是，这段代码将指向rakudo内部，而不是您可以改进的任何东西。

当然值得在irc.freenode上与#perl6讨论。net，因为他们将有知识提供替代解决方案，并将能够在未来提高其性能。