在Google数据流中使用setup.py时调用了ProcessError

Question

使用安装程序时出现以下错误。py用于在我的数据流工作程序上安装依赖项：

CalledProcessError                        Traceback (most recent call last)
~/apache-beam-2.27.0/lib/python3.7/site-packages/apache_beam/utils/processes.py in check_output(*args, **kwargs)
     90     try:
---> 91       out = subprocess.check_output(*args, **kwargs)
     92     except OSError:

/opt/conda/lib/python3.7/subprocess.py in check_output(timeout, *popenargs, **kwargs)
    410     return run(*popenargs, stdout=PIPE, timeout=timeout, check=True,
--> 411                **kwargs).stdout
    412 

/opt/conda/lib/python3.7/subprocess.py in run(input, capture_output, timeout, check, *popenargs, **kwargs)
    511             raise CalledProcessError(retcode, process.args,
--> 512                                      output=stdout, stderr=stderr)
    513     return CompletedProcess(process.args, retcode, stdout, stderr)

CalledProcessError: Command '['/root/apache-beam-2.27.0/bin/python', 'setup.py', 'sdist', '--dist-dir', '/tmp/tmpcljk596r']' returned non-zero exit status 1.

我的Setup.py文件正是Apache Beam提出的，我想安装2个python模块和一个apt-get：

CUSTOM_COMMANDS = [
    ['apt-get', 'update'],
    ['apt-get', '--assume-yes', 'install', 'poppler-utils']
]

REQUIRED_PACKAGES = ['pdf2image', 'poppler-utils']

这是一个非常痛苦的错误，因为在我看来，我正在使用设置。py选项与使用apt-get-on-my-workers安装依赖项的方式完全相同。

像往常一样，使用DirectRunner非常有效:)

我的配置：

< Li > Python 3 . 7 . 9上的Apache Beam 2 . 27 . 0 < Li > GCP数据流笔记本 < li >(在笔记本外运行数据流时出现同样的错误)

感谢您的帮助

此致敬意

杰罗姆

Answer 1

我最近经历了类似的错误...花了很长时间才修好。我不能代表所有平台或您的特定setup.py，但我可以分享我如何修复Windows上的类似问题，希望这可以帮助您。

在 apache 波束源中，它使用 Python 的子处理模块（您会看到被叫处理器错误源自该模块）运行 setup 命令。在 Windows 上，它在调用check_output时强制参数 shell=True，这意味着它在特定于平台的外壳（即通常在窗口上的 cmd.exe）中运行命令。

作为第一步，通过在shell中手动运行它来验证您看到的抛出CalledProcessException的命令实际上并没有抛出错误。在我的例子中，命令（Pythonsetup.py研究…）在手动运行时按预期工作。

然后，如果您在Windows上，请确保powershell/cmd上的所有自动运行命令都按预期运行并且不会抛出错误。如果您不在windows上，我认为您应该验证您的束代码是否正在使用shell=True，如果是这样，请确保您的shell的自动运行脚本正常工作。

在我的例子中，Beam运行的Python命令在手动运行时运行良好。但是，当在shell=True的子进程中执行时，我的shell中一个中断的自动运行命令导致beam从子进程接收错误代码，并认为Python命令失败了。

泰勒