tar | xz时如何重定向xz的正常stdout？

Question

我需要使用像xz这样的压缩器来压缩庞大的tar存档。

我完全了解以前的问题，例如在一个命令中创建tar.xz和利用多核进行tar gzip/bzip压缩/解压缩

从他们那里，我发现这个命令行大部分有效：

tar -cvf - paths_to_archive | xz -1 -T0 -v > OUTPUT_FILE.tar.xz

我使用管道解决方案，因为我必须能够将选项传递给xz。特别是，xz非常占用CPU，所以我必须使用-T0来使用所有可用的内核。这就是为什么我不使用其他选项，比如tar的--使用压缩程序或-J选项。

不幸的是，我真的很想将tar和xz的所有日志输出（即非存档输出）捕获到日志文件中。在上面的示例中，log outout总是由那些-v选项生成。

有了上面的命令行，日志输出现在就打印在我的终端上了。

因此，问题是，当您使用管道连接tar和xz时，不能在命令行结尾使用类似

>Log_File  2>&1

因为更早

> OUTPUT_FILE.tar.xz

有解决方案吗？

我试着用这样的子壳包起来

(tar -cvf - paths_to_archive | xz -1 -T0 -v > OUTPUT_FILE.tar.xz) >Log_File  2>&1

但这并不奏效。

Answer 1

第一个 -cvf - 可以用 cv 代替。

但是，tar cvf-的正常stdout输出是tar文件，该文件通过管道传输到xz中。不确定我是否完全理解，可能是这样的：

tar cv paths | xz -1 -T0 > OUTPUT.tar.xz 2> LOG.stderr

或

tar cv paths 2> LOG.stderr | xz -1 -T0 > OUTPUT.tar.xz

或

tar cv paths 2> LOG.tar.stderr | xz -1 -T0 > OUTPUT.tar.xz 2> LOG.xz.stderr

不确定 -T0 是否已实现，您使用哪个版本的 xz？（也许 https://github.com/vasi/pixz 值得仔细研究）在某些系统上安装了sudo apt-get install pv的pv程序比xz -v更擅长显示管道的进度。它会告诉您带有预计到达时间的百分比进度：

size=$(du -bc path1 path2 | tail -1 | awk '{print$1}')
tar c paths 2> LOG.stderr | pv -s$size | xz -1 -T0 > OUTPUT.tar.xz

Answer 2

tar 的正常标准输出是压缩包，xz 的正常标准输出是压缩文件。这些内容都不是您应该想要捕获的日志。除输出文件本身之外的所有日志记录都专门写入两个进程的 stderr。

因此，您只需要重定向stderr，并且不得重定向stdout，除非您希望输出文件与日志记录混淆。

{ tar -cvf - paths_to_archive | xz -1 -T0 -v > OUTPUT_FILE.tar.xz; } 2>Log_File

顺便说一下，如果您想知道为什么xz-v在输出到TTY时打印更多内容，答案就在message. c的这一行中：progress_automatic标志（告诉xz设置一个计时器来触发SIGALRM-它将其视为应该打印状态的指示-每秒）仅在isatty（STDERR_FILENO）为真时设置。因此，在stderr被重定向到文件后，xz根本不再打印此输出；问题不在于它没有被正确重定向，而是它不再存在。

但是，如果您真的愿意，您可以每秒从自己的代码向< code>xz发送< code>SIGALRM:

{
  xz -1 -T0 -v > OUTPUT_FILE.tar.xz < <(tar -cvf - paths_to_archive) & xz_pid=$!
  while sleep 1; do
    kill -ALRM "$xz_pid" || break
  done
  wait "$xz_pid"
} 2>Log_File

_{（避免将 xz 执行所需的时间四舍五入到最接近秒的代码是可能的，但留给读者作为练习）。}