Python apache beam ImporTerror:dataflow worker上没有名为***的模块

Question

我的beam应用程序的结构：

-setup.py

-app/__init__.py
-app/main.py

-package1/__init__.py
-package1/one.py

-package2/__init__.py
-package2/two.py

-package3/__init__.py
-package3/three.py

在main.py：

from package1 import one
from package2 import two
from package3 import three

在setup.py中

import setuptools

setuptools.setup(
    name='beam',
    version='1.0',
    install_requires=['apache-beam[gcp]',
                      'google-cloud==0.34.0',
                      'google-cloud-bigquery==0.25.0',
                      'requests==2.19.1',
                      'google-cloud-storage==1.12.0'
                      ],
    packages=setuptools.find_packages(),
)

谢谢你。

Answer 1

这已经快一年了，但我有一个非常相似的问题，并能够解决它，所以为其他偶然发现这一页的人发帖。

在我的例子中，package3.three没有什么特别之处，只是它碰巧是worker试图导入的第一个。事实上，删除package3.three（例如，临时将其内容直接包含在main.py)会导致其他模块中的一个出现相同的错误。

虽然我不完全理解根本原因，但使用文件调用Python app/main.py而不是模块调用Python-m app.main解决了这个问题。我猜想setup.py中的打包和模块调用中的隐式打包之间存在一些冲突。