为什么我的promise（启动块）中的所有shell进程都不运行？（这是一个错误吗？）

Question

我想运行多个shell进程，但当我尝试运行63个以上时，它们会挂起。当我将线程池中的最大线程数减少到n时，它会在运行shell命令后挂起。

正如您在下面的代码中所看到的，问题不在于启动块本身，而在于包含shell命令的启动块：

#!/bin/env perl6
my $*SCHEDULER = ThreadPoolScheduler.new( max_threads => 2 );

my @processes;

# The Promises generated by this loop work as expected when awaited
for @*ARGS -> $item {
    @processes.append(
        start { say "Planning on processing $item" }
    );
}

# The nth Promise generated by the following loop hangs when awaited (where n = max_thread)
for @*ARGS -> $item {
    @processes.append(
        start { shell "echo 'processing $item'" }
    );
}
await(@processes);

正在运行<代码>/process\u items foo bar baz给出以下输出，在处理条形图之后挂起，该输出正好位于使用shell运行的th（此处为2）线程之后：

Planning on processing foo
Planning on processing bar
Planning on processing baz
processing foo
processing bar

我做错了什么？还是这是一个bug？

在CentOS 7上测试的Perl 6发行版：

对于Rakudo Star 2019.03-RC2，使用v6。c与使用v6相比。d没有任何区别。

Answer 1

shell和run子脚本使用Proc，这是根据异步实现的。这在内部使用线程池。通过使用对shell的阻塞调用填充池，线程池将耗尽，因此无法处理事件，从而导致挂起。

直接使用Proc::Async来完成这个任务会好得多。使用shell和大量真实线程的方法不能很好地扩展；每个操作系统线程都有内存开销、GC开销等等。由于生成一堆子进程不受CPU限制，这是相当浪费的；实际上，只需要一两个真实线程。所以，在这种情况下，也许在做一些低效的事情时，实现会反击你并不是最糟糕的事情。

我注意到使用shell和线程池的原因之一是尝试限制并发进程的数量。但这不是一种非常可靠的方法；仅仅因为当前线程池实现设置了默认最大64个线程并不意味着它总是会这样做。

下面是一个并行测试运行程序的示例，它一次运行多达4个进程，收集它们的输出并封装它。这可能比您需要的要多一些，但它很好地说明了整体解决方案的形状：

my $degree = 4;
my @tests = dir('t').grep(/\.t$/);
react {
    sub run-one {
        my $test = @tests.shift // return;
        my $proc = Proc::Async.new('perl6', '-Ilib', $test);
        my @output = "FILE: $test";
        whenever $proc.stdout.lines {
            push @output, "OUT: $_";
        }
        whenever $proc.stderr.lines {
            push @output, "ERR: $_";
        }
        my $finished = $proc.start;
        whenever $finished {
            push @output, "EXIT: {.exitcode}";
            say @output.join("\n");
            run-one();
        }
    }
    run-one for 1..$degree;
}

这里的关键是在进程结束时调用run one（运行一个），这意味着您总是用一个新的进程替换一个退出的进程，只要有事情要做，一次最多可以运行4个进程。由于订阅的事件数降至零，当所有进程完成时，react块自然结束。