导入apache_beam为光束。模块未找到

Question

我已经在Docker中安装了apache_beam Python SDK和apache Python SDK。Python版本：3.5
Apache版本：1.10。5.

我正在尝试使用**DataflowPythonOperator**执行apachebeam管道。当我从airflow UI运行DAG时，我得到

导入错误：将apache_梁导入为梁。找不到模块

使用相同的设置，我尝试了**DataflowTemplateoperator**，它工作得非常好。

当我用Python2和ApacheAirflow 1.10尝试相同的docker设置时。两个月前，操作员没有返回任何错误，并按预期工作。

SSH进入docker后，当我检查docker容器中已安装的库（使用pip冻结）时，我可以看到已安装的apache beam和apache airflow版本。阿帕奇气流==1.10。5阿帕奇波束==2.15。0

Dockerfile：

RUN pip install --upgrade pip
RUN pip install --upgrade setuptools
RUN pip install apache-beam
RUN pip install apache-beam[gcp]
RUN pip install google-api-python-client
ADD . /home/beam


RUN pip install apache-airflow[gcp_api]

气流操作员：

new_task = DataFlowPythonOperator(
 task_id='process_details',
 py_file="path/to/file/filename.py",
 gcp_conn_id='google_cloud_default',
 dataflow_default_options={
             'project': 'xxxxx',
             'runner': 'DataflowRunner',
             'job_name': "process_details",
             'temp_location': 'GCS/path/to/temp',
             'staging_location': 'GCS/path/to/staging',
             'input_bucket': 'bucket_name',
             'input_path': 'GCS/path/to/bucket',
             'input-files': 'GCS/path/to/file.csv'
     },
     dag=test_dag)

Answer 1

这可能不是你的选择，但我得到了与python 2相同的错误。使用python 3执行相同的脚本解决了错误。

我正在浏览数据流教程：https://codelabs.developers.google.com/codelabs/cpb101-simple-dataflow-py/

当我按照指定的指示：

Pythongrep.py

我从你文章的标题中得到了这个错误。我打了一拳：

python3 grep.py 

它的工作原理与预期一致。我希望有帮助。如果没有的话，很高兴能找到。请查看链接以了解有关我到底在运行什么的详细信息。

Answer 2

从这个github链接将帮助您解决您的问题。遵循以下步骤。

>

https://www.dabapps.com/blog/introduction-to-pip-and-virtualenv-python/?utm_source=feedly

创建虚拟环境（注：我是在oudml-示例文件夹中创建的

钛-vim-169612:~/cloudml样本$virtualenv

激活虚拟环境

@钛-vim-169612:~/cloudml样本$source env/bin/activate

使用以下链接安装云数据流：（这会带来apache_beam）

https://cloud.google.com/dataflow/docs/quickstarts/quickstart-python

现在可以检查env/lib/python2中是否存在apache_beam。7/站点包/

@钛-vim-169612:~/cloudml样品/花$ls/env/lib/python2。7/站点包/

运行示例在这一点上，我得到了一个错误，关于丢失的张量流。我使用下面的链接（使用虚拟环境的安装步骤）在我的虚拟环境中安装了tenstorflow，

https://www.tensorflow.org/install/install_linux#InstallingVirtualenv

这个样本现在似乎起作用了。

Answer 3

这似乎是一个已知的问题：https://github.com/GoogleCloudPlatform/DataflowPythonSDK/issues/46

请运行pip安装六==1.10。这是Beam（https://issues.apache.org/jira/browse/BEAM-2964）中的一个已知问题，我们正试图在上游得到解决。

因此，尝试使用pip安装