在AWS EMR 5.0上运行的boto3中为MR作业添加流步骤

Question

我正在尝试将我用python编写的几个MR作业从AWS EMR 2.4迁移到AWS EMR 5.0。到目前为止，我一直在使用BOTO2.4，但它不支持EMR5.0，所以我尝试转向boto3。前面，在使用boto 2.4时，我使用了StreamingStep模块来指定输入位置和输出位置，以及映射器和reducer源文件的位置。使用这个模块，我实际上不需要创建或上传任何jar来运行我的作业。但是，我在boto3文档中找不到该模块的等效项。如何在boto3中向MR作业中添加流式处理步骤，以便不必上传jar文件来运行它？

Answer 1

不幸的是，boto3和EMR应用编程接口的文档很少。最起码，单词计数示例如下所示：

import boto3

emr = boto3.client('emr')

resp = emr.run_job_flow(
    Name='myjob',
    ReleaseLabel='emr-5.0.0',
    Instances={
        'InstanceGroups': [
            {'Name': 'master',
             'InstanceRole': 'MASTER',
             'InstanceType': 'c1.medium',
             'InstanceCount': 1,
             'Configurations': [
                 {'Classification': 'yarn-site',
                  'Properties': {'yarn.nodemanager.vmem-check-enabled': 'false'}}]},
            {'Name': 'core',
             'InstanceRole': 'CORE',
             'InstanceType': 'c1.medium',
             'InstanceCount': 1,
             'Configurations': [
                 {'Classification': 'yarn-site',
                  'Properties': {'yarn.nodemanager.vmem-check-enabled': 'false'}}]},
        ]},
    Steps=[
        {'Name': 'My word count example',
         'HadoopJarStep': {
             'Jar': 'command-runner.jar',
             'Args': [
                 'hadoop-streaming',
                 '-files', 's3://mybucket/wordSplitter.py#wordSplitter.py',
                 '-mapper', 'python2.7 wordSplitter.py',
                 '-input', 's3://mybucket/input/',
                 '-output', 's3://mybucket/output/',
                 '-reducer', 'aggregate']}
         }
    ],
    JobFlowRole='EMR_EC2_DefaultRole',
    ServiceRole='EMR_DefaultRole',
)

我不记得需要用boto做这件事，但是我在没有禁用vmem-check启用的情况下正确运行简单的流作业时遇到了问题。

此外，如果您的脚本位于S3上的某个地方，请使用-file下载它（将#filename附加到参数中，使下载的文件在群集中作为filename可用）。