有什么好的方法可以将Talend工作与Amazon EMR集成吗？

Question

目前我正在尝试将AWS EMR与Talend集成。

我的目的是在AWS EMR上运行Talend作业（由Talend工作室导出）。我已经尝试添加步骤为自定义罐，但它似乎通过使用也导出的lib文件夹和脚本运行Talend作业。

我想用脂肪罐运行它，但是这个问题表明我们不能这样做，因为缺乏将JAR文件导出为脂肪罐的功能。-

有什么好方法可以将Talend job与Amazon EMR集成在一起吗？

Answer 1

最后，我通过使用AWS提供的script-runner.jar解决了这个问题。

在集群中运行脚本

我创建了Lambda脚本来启动EMR集群。我附加了HadoopJarStep。这允许我们使用一些shell脚本来下载

>

请参阅Boto3 Docs-EMR了解其含义

        'HadoopJarStep': {
            'Jar': 's3://ap-northeast-1.elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': [
                's3://your/bucket/name.../talend_run.sh'
            ]
        }

talend_run.sh就像下面一样（一个可惜的shellcript）

#!/bin/bash

echo "Start, Talend!!"

# here is exported talend job ( contains bootstrap shellscript )
ZIP_NAME=talend-batch-zipped.zip
DIR_NAME=talend-batch-zipped/kicker
SHELL_NAME=kicker_run.sh

# update package because EMR servers don't have unzip command
sudo yum update -y
sudo yum install -y wget unzip

rm -rf ${ZIP_NAME}
wget https://your.using.s3.host.name/${ZIP_NAME} -P `pwd`/

# unzip the zipped job file into the EMR server
unzip ${ZIP_NAME}
cd ${DIR_NAME}

# pass parameters to talend job
bash ./${SHELL_NAME} "$@"

启动AWS Lambda函数后，创建了EMR集群。在此之后，EMR服务器将处理一个步骤（位于shell之上）。