worker_machine_type标签在带有 python 的谷歌云数据流中不起作用

Question

我在Python中使用Apache Beam和Google Cloud Dataflow（2.3.0）。当将worker_machine_type参数指定为例如n1-high mem-2或Custal-1-6656时，Dataflow运行作业，但始终为每个工作人员使用标准机器类型n1-ardard-1。

有没有人知道我是否做错了什么？

其他主题(这里和这里)表明这应该是可能的，所以这可能是一个版本问题。

我用于指定PipelineOptions的代码(注意，所有其他选项都工作正常，因此它应该识别< code>worker_machine_type参数):

def get_cloud_pipeline_options(project):

  options = {
    'runner': 'DataflowRunner',
    'job_name': ('converter-ml6-{}'.format(
        datetime.now().strftime('%Y%m%d%H%M%S'))),
    'staging_location': os.path.join(BUCKET, 'staging'),
    'temp_location': os.path.join(BUCKET, 'tmp'),
    'project': project,
    'region': 'europe-west1',
    'zone': 'europe-west1-d',
    'autoscaling_algorithm': 'THROUGHPUT_BASED',
    'save_main_session': True,
    'setup_file': './setup.py',
    'worker_machine_type': 'custom-1-6656',
    'max_num_workers': 3,
  }

  return beam.pipeline.PipelineOptions(flags=[], **options)

def main(argv=None):
  args = parse_arguments(sys.argv if argv is None else argv)

  pipeline_options = get_cloud_pipeline_options(args.project_id

  pipeline = beam.Pipeline(options=pipeline_options)

Answer 1

在Apache Beam 2.8.0中对我有用的是通过将< code >-worker _ machine _ type 更改为< code> - machine_type(然后使用< code>machine_type作为参数的名称，如其他答案中所建议的)来更新这一行源代码。

Answer 2

这可以通过使用标志machine_type而不是worker_machine_type来解决。其余代码工作正常。

因此，文档中提到了错误的字段名称。

Answer 3

管道选项在后台使用参数解析其参数。对于计算机类型，参数的名称machine_type但标志名称worker_machine_type。这在以下两种情况下工作正常，其中 argparse 执行其解析并意识到此别名：

1. 在命令行上传递参数。例如my_pipeline.py--worker_machine_typeCustal-1-6656
2. 将参数作为命令行标志传递，例如标志['--worker_machine_type'，'worker_machine_typeCustate-1-6656'，…]

但是，它不适用于**kwargs。以这种方式传递的任何其他参数都用于替换已知的参数名（但不是标志名）。

简而言之，使用＜code＞machine_type＜/code＞可以在任何地方工作。我提出https://issues.apache.org/jira/browse/BEAM-4112以便将来将其固定在梁中。