xarg与python多处理子流程的性能对比

Question

我对xargs的性能可伸缩性有一个问题。目前，我有一个用python编写的批处理程序，带有多处理和子进程。每个进程产生一个独立的子进程。popen（）执行外部命令。最近我意识到整个过程可以用xargs重做。然而，我想知道使用xargs处理10k文件是否是一个好主意，因为我以前从未用命令行工具做过如此大规模的事情。考虑到我对小数据集的测试，如果我所做的只是批量运行一组命令，这其实不是一个坏主意，因为它避免了python模块强加的许多开销循环，但我想向任何可能有更多xargs和python经验的人学习更多。更具体地说，我是否需要为xargs配置任何缓冲区限制以消耗大量输入？谢谢

Answer 1

xargs程序将从标准输入中收集多个参数，并将它们粘合在一起形成一个长命令行。如果有许多许多参数，对于一个命令行来说太长，那么它将根据需要构建和执行多个命令行。

这意味着启动和关闭进程的开销更少。这对您有多大好处取决于您的进程运行的时间。如果您正在启动某种CPU密集型程序，该程序将运行半小时，那么该进程的启动时间将无关紧要。如果您正在启动一个运行速度很快的程序，但只运行了少量实例，那么节省下来的成本也将是微不足道的。然而，如果您的程序非常简单，并且需要最少的运行时间，那么您可能会注意到一个不同。

从您的问题描述来看，它似乎是这方面的一个很好的候选者。10000件，每件处理时间相对较短xargs可能会加快速度。

然而，根据我的经验，在shell脚本中做任何不平凡的工作都会带来痛苦。如果您的目录名或文件名中有空格，引用变量时出现的任何错误都会导致脚本崩溃，因此您需要对脚本进行严格测试，以确保它对所有可能的输入都有效。出于这个原因，我用Python编写了一些重要的系统脚本。

因此，如果你已经让你的程序在Python中工作，恕我直言，你会疯狂地试图将其重写为外壳脚本。

现在，如果您愿意，您仍然可以使用xargs。只需使用sub流程来运行xargs并通过标准输入传递所有参数。这获得了所有的好处，却没有痛苦。您可以使用Python在每个参数的末尾粘贴一个NUL字节chr（0），然后使用xargs--null，并且它对其中有空格的文件名是健壮的。

或者，您可以使用''。join（）来构建您自己的很长的命令行，但是当您可以如上所述运行xargs时，我看不出有任何理由这样做。