当前位置: 首页 > 知识库问答 >
问题:

Hive-DynamoDB出口在欧洲不起作用?

应向晨
2023-03-14

使用蜂巢时出现问题

我的测试用例是:

  • 蜂巢版本-2.3.0 eu-central-1

配置单元脚本:

    CREATE EXTERNAL TABLE raw_data (id STRING, parent_id STRING, value STRING)
    STORED BY "org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler"
    TBLPROPERTIES (
      "dynamodb.table.name" = "test_input",
      "dynamodb.region"="eu-central-1",
      "dynamodb.column.mapping" = "id:id,value:value,parent_id:parent_id"
    );

运行脚本后,我得到:

失败:执行错误,从组织返回代码1。阿帕奇。hadoop。蜂箱ql.exec。这是一项艰巨的任务。JAVAlang.RuntimeException:无法在DynamoDB中查找表test_输入。

根据旧胎面https://forums.aws.amazon.com/thread.jspa?messageID=326618,我尝试了很多步骤来解决它。添加后:设置dynamodb。endpoint=发电机B。欧盟中央1号。亚马逊。通用域名格式。同样的错误。

我也试着补充:

<property>
    <name>dynamodb.endpoint</name>
    <value>dynamodb.eu-central-1.amazonaws.com</value>
    <description>DynamoDB endpoint</description>
</property>

默认设置为/etc/hive/conf/hive。xml和/etc/hive/conf/hive站点。xml。仍然有相同的结果。我在互联网上搜索以找到解决方案,但没有成功:(

有办法解决吗?

共有1个答案

狄安歌
2023-03-14

通过添加到/etc/hadoop/conf/core站点解决了这个问题。xml:

<property>
    <name>fs.s3.awsAccessKeyId</name>
    <value>Key</value>
</property>
<property>
    <name>fs.s3.awsSecretAccessKey</name>
    <value>Secret</value>
</property>

只有这是必需的,EMR使用此帐户而不是角色。

 类似资料:
  • 我试图使用batchWrite将一个数据插入Dynamodb,但它无法插入数据。它只显示此消息(但没有错误消息)。 然后,无法插入数据。我试着用put,效果很好。我用的是Lambda。这是代码。

  • 问题内容: 我已经在exit和_exit和我的程序(多线程应用程序,在linux 2.6.16.46-0.12 sles10上运行)上设置了断点,但仍以某种我无法找到的方式退出 退出函数驻留在libc中,因此没有延迟的负载共享库问题。有人知道其他无法捕获的神秘触发吗? 编辑:问题现在仅是学术性的。我尝试了二进制搜索调试,撤消了部分更改(问题消失了)。再次按顺序应用它们之后,即使恢复到原始状态,我也

  • 问题内容: 在一个新项目中,我正在以CSV格式导入到mysql表中的数据。列之一是价格字段,该字段以欧洲格式(即,欧元)存储货币。345,83。我遇到的问题是存储此十进制分隔符。在大多数欧洲货币中,十进制分隔符为“,”,但是当我尝试在字段中插入十进制数字(例如345,83)时,出现以下错误:“行’row#的列’column_name’的数据被截断了’”。如果我使用“。” 而不是“,”可以正常工作。

  • 我们正在开发一个基于Spring的微服务,它需要与DynamoDB和MySQL一起工作。我举了一个简单的“Spring中的DynamoDB”的例子,一切都很好。然后我想添加MySQL部分,但当我将其添加到pom时。xml Spring停止了工作,抱怨不是托管类型:

  • 所以我在使用android导航组件,我有一个问题(2.2.0-rc04版本)。 我有一个welcomeFragment(wF)。我想从wF导航到另一个导航图中的lSF。我也不想在导航到lSF时从backstack(poputto,popuptinclusive)中删除wF,因为用户可能想返回它。 导航到lSF后,后退如下所示:wF lSF 我们现在在lSF上,登录后我们想进入feedFragmen

  • 我正在尝试用Docker和Selenium Grid建立一个自动化测试平台。在下图中,你可以看到我使用的结构。最上面是运行在计算引擎上的ubuntu服务器。左边是一个运行ubuntu 14.04的docker容器。该容器使用Google App Engine在localhost:8080上运行我们的项目。右边是Selenium集线器,有两个节点在端口4444上运行。 Docker和Selenium