spark-submit EMR步骤在使用boto3客户端提交时失败
代码片段：
class ProblemExample:
def run(self):
session = boto3.Session(profile_name='emr-profile')
client = session.client('emr')
response = client.add_job_flow_steps(
JobFlowId=cluster_id,
Steps=[
{
'Name': 'string',
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
'Args': [
'/usr/bin/spark-submit',
'--verbose',
'--class',
'my.spark.job',
'--jars', '<dependencies>',
'<my spark job>.jar'
]
}
},
]
)
共有1个答案
最后，通过正确转义--jars值解决了这个问题。
spark-submit未能找到类，但在杂乱的日志背景下，错误并不清楚。
有效的例子是：
class Example:
def run(self):
session = boto3.Session(profile_name='emr-profile')
client = session.client('emr')
response = client.add_job_flow_steps(
JobFlowId=cluster_id,
Steps=[
{
'Name': 'string',
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 'command-runner.jar',
'Args': [
'/usr/bin/spark-submit',
'--verbose',
'--class',
'my.spark.job',
'--jars', '\'<coma, separated, dependencies>\'',
'<my spark job>.jar'
]
}
},
]
)
-
我被困在： 在我得到这个之前： 当我签出应用程序跟踪页面时，我在stderr上得到以下信息： 我对这一切都很陌生，也许我的推理有缺陷，任何投入或建议都会有所帮助。
-
我有一个Kafka消费者，我从它消费数据从一个特定的主题，我看到下面的例外。我使用的是Kafka版本。 我添加了这两个额外的消费者属性，但仍然没有帮助： 那个错误意味着什么？我该如何解决它？我需要添加一些其他消费者属性吗？
-
问题内容： 我正在尝试创建一个Web服务，我的交易工具是： ** Axis2，Eclipse，Tomcat，Ant ** 我需要从Code创建一个Web服务，即编写一个基本的Java类，它将具有在WSDL中声明的方法。然后使用java2WSDL.sh创建我的WSDL。 因此，这种方法是否正确： 用实际的业务逻辑编写我的Java类 现在，当我将此Hello.java传递给java2WSDL.sh时，
-
我试图建立一个双向TSL连接到一个Web服务使用Java，我得到了一个pfx证书与一个私钥和3个证书的证书链。下面是使用Spring框架的java代码： 到目前为止，我得到了一个客户端你好和一个发送证书的服务器你好，我得到了一个找到的可信证书。然后有一个证书请求，它找不到任何证书 我已经将证书单独添加到lib/Security/cacerts中。似乎第一次证书交换发生在cacerts密钥存储库，因
-
我有一个项目连接到独立的redis，客户端创建为： 用于绝地武士和spring data redis的库版本为： 现在我需要移动到集群redis，并将客户端创建更改为 通过此代码更改，我在群集中找不到可访问的节点，如下所示： } 由于spark-2.1.3中运行了spark应用程序，由于版本依赖性，我需要使用相同的spring data redis。如果没有jedis和spring data re
-
问题内容： 我是新泽西州的新手。我需要实现一个Jersey客户端，才能使用POST方法提交数据。curl命令是： 因此，我试图找出如何使用Jersey客户端来实现上述curl命令的方法。 到目前为止，我已经完成了： 有人可以帮我吗？ 问题答案： 现在我知道了。这是我的解决方案：