导入错误：运行谷歌数据流工作线程时没有名为 idlelib 的模块
我有一个python 2.7脚本，我在本地运行以启动Apache Beam / 谷歌数据流作业（SDK 2.12.0）。该作业从谷歌存储空间中获取一个csv文件，对其进行处理，然后在谷歌数据存储中为每行创建一个实体。剧本运行良好多年...但现在它失败了：
INFO:root:2019-05-15T22:07:11.481Z: JOB_MESSAGE_DETAILED: Workers have started successfully.
INFO:root:2019-05-15T21:47:13.370Z: JOB_MESSAGE_ERROR: Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 773, in run
self._load_main_session(self.local_staging_directory)
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 489, in _load_main_session
pickler.load_session(session_file)
File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 280, in load_session
return dill.load_session(file_path)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 410, in load_session
module = unpickler.load()
File "/usr/lib/python2.7/pickle.py", line 864, in load
dispatch[key](self)
File "/usr/lib/python2.7/pickle.py", line 1139, in load_reduce
value = func(*args)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 827, in _import_module
return __import__(import_name)
ImportError: No module named idlelib
我相信这个错误发生在工人级别(而不是本地)。我没有在我的剧本中提到它。为了确保不是我，我在本地安装了所有google-cloud包、apache-beam[gcp]等的更新，以防万一。我尝试将idlelib导入到我的脚本中，得到了同样的错误。有什么建议吗？
共有1个答案
多年来一直很好，从SDK 2.12.0版本开始失败。
这个脚本成功的最后一个版本是什么？2.11？
-
我们正在尝试使用GCP数据流和Python作业模板连接到Oracle数据库。当我们使用无法访问Internet的特殊子网来运行数据流作业时，我们使用setup.py.从GCS存储桶安装依赖包 下面是使用 setup.py 创建数据流模板的命令行： < code>python3 -m 依赖项包存储在 GCP 存储桶中，并将复制到数据流工作线程，并在作业运行时安装在数据流工作线程上。对于 Oracle
-
我们的Google Cloud数据流管道程序调用了一些动态链接到*的库。所以要运行它，我需要设置linux环境变量LD_LIBRARY_PATH。有一种方法可以做到这一点：https://groups.google.com/forum/#!主题/综合。java。程序员/LOu18 OWAVM，但我想知道是否有一种方法可以在执行管道之前使用一些运行shell脚本的作业来实现这一点？
-
问题内容： 我有一个与此问题非常相似的问题，但仍落后了一步。我在Windows 7（ 对不起 ）64位系统上仅安装了一个Python 3版本。 我在此链接后安装了numpy-如问题中所述。安装进行得很好，但是当我执行时 我收到以下错误： 导入错误：没有名为numpy的模块 我知道这可能是一个超级基本的问题，但我仍在学习。 谢谢 问题答案： NumPy版本1.5.0中添加了对Python 3的支持
-
问题内容： 我正在使用centos linux。 我有Django的python 2.6，现在我升级到了python 2.7。 Python 2.6位于/usr/lib/python2.6中。 Python 2.7位于/usr/local/lib/python2.7中。 它们都具有site-packages目录，并且都包含django 1.2。 如果我运行python，我将获得2.7版本。 我的问
-
我在谷歌云平台上运行数据流作业，我得到的一个新错误是“工作流失败”，没有任何解释。我得到的日志如下： 我该怎么找出哪里出了问题？对象上的权限不应该有问题，因为类似的作业会成功运行。当我试图从谷歌云控制台重新运行模板时，我会收到消息： 找不到此模板的元数据文件 但是我能够启动模板，现在它成功运行。这可能与超额配额有关吗？我们刚刚增加了数据流的CPU和IP配额，我将并行运行的作业从5个增加到15个，以
-
问题内容： 我看到很多这些错误。我已经尝试了所有我想做的事情，但还没有弄清楚。 我正在开发运行python 2.5和Django 1.3的开发服务器。在解压缩tar.gz下载文件后，使用python setup.py install安装了Django 1.3。 一切正常，我很少需要运行，但是尝试使用新的应用程序，并且遇到了问题。 好的，所以我有PATH问题。 从Django安装程序中，我再次检查目