是否可以在本地运行/序列化数据流作业而不具有所有依赖关系？

Question

我已经使用Apache Beam为Google Cloud Dataflow创建了一个管道，但是我不能在本地拥有Python依赖项。但是，远程安装这些依赖项没有问题。

是否可以在本地（开发）环境中运行作业或创建模板而不执行Python代码？

Answer 1

嗯，我不是100%确定这是可能的，但你可以：

• 定义要求。txt文件，包含管道执行的所有依赖项

例如，您的文件可能如下所示：

import apache_beam as beam

with beam.Pipeline(...) as p:
  result = (p | ReadSomeData(...)
            | beam.ParDo(MyForbiddenDependencyDoFn()))

在同一个文件中，DoFn将从管道执行时间代码中导入依赖项，例如，process方法。见：

class MyForbiddenDependencyDoFn(beam.DoFn):

  def process(self, element):
    import forbidden_dependency as fd
    yield fd.totally_cool_operation(element)

执行管道时，可以执行以下操作：

python your_pipeline.py \
    --project $GCP_PROJECT \
    --runner DataflowRunner \
    --temp_location $GCS_LOCATION/temp \
    --requirements_file=requirements.txt

我从未尝试过，但它可能会奏效：）

Answer 2

看看这个教程。基本上，您编写python管道，然后使用

python your_pipeline.py \
--project $YOUR_GCP_PROJECT \
--runner DataflowRunner \
--temp_location $WORK_DIR/beam-temp \
--setup_file ./setup.py \
--work-dir $WORK_DIR

关键部分是--runner DataflowRunner，因此它使用Google数据流（而不是您的本地安装）来运行管道。显然，你必须设置你的谷歌帐户和凭证。