当前位置: 首页 > 知识库问答 >
问题:

通过aws emr cli传递配置单元配置

阮喜
2023-03-14

我正在遵循doc:http://docs.aws.amazon.com/elasticmapreduce/latest/releaseguide/emr-dev-create-matchore-outside.html并尝试使用AWSCLI==1.10.38创建emr集群。

我使用文档中提到的以下命令:

aws emr create-cluster --release-label emr-5.0.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

但是它说“AWS:error:valid json argument for option--configurations”

为什么我会得到错误?

共有1个答案

商麒
2023-03-14

您对--configurations的参数不正确。缺少文件://CLI需要知道您正在指定文件或S3对象。

aws emr create-cluster --configurations file://hiveConfiguration.json
 类似资料:
  • 我使用Hortonworks Hadoop HDP-2.3.2.0-2950 Hive over Tez引擎 下面2个查询来自Java代码。 ——运行良好 ——失败并出现错误 我的代码:

  • 请告诉我如何在udf中使用hive conf变量,以及如何在hive udf中访问hive配置?

  • 我们有配置了FreeIPA的HDP-2.2集群。但当我们试图通过knox访问HiveJDBC时,我们面临着一个问题。以下是我们正在使用的JDBC URI: jdbc: hive2://xxxxxxxxx: 8443/; ssl=true; sslTrustStore=/var/lib/Knox/data/Security/keystore/gateway.jks; Trust StorePassw

  • 我在java中开发了一个工作正常的配置单元udf,我的函数返回输入与配置单元表中列之间的最佳匹配,因此它有以下简化的伪代码: 我的问题是,如果这个函数是由Hive调用的,为什么我需要在代码中连接到Hive?我可以使用使用我的功能的用户所连接的当前连接吗?

  • 或者可以在controller创建之后,使用configure API来配置controller,具体使用方式如下所示: controller.configure(configs); configure API接受的参数和通过构造函数配置配置一样,可以查看 配置参数表 了解各个配置参数的详细解释。

  • 我正在我的ubuntu上运行Hive2,并尝试通过hive接口和Beeline\JDBC创建表。我通过配置单元接口创建表没有问题,但是当通过jdbc访问时,我得到一个权限被拒绝的错误。 从异常中,我看到它试图在一个不存在的目录中创建表(/user/hive/warehouse/...) 那么它为什么要在/user/hive/warehouse下创建metastore_db呢?