当前位置: 首页 > 知识库问答 >
问题:

如何在Amazon EMR/S3中查看输出?

郎建章
2023-03-14

为此,我遵循了以下步骤:

1)创建了配置单元脚本,其中包含-->create table、load data语句和select*from命令。

2)创建了S3 bucket,并将对象加载到其中:配置单元脚本,文件加载到表中。

以及如何在Amazon EMR中查看来自HDFS的数据?

共有1个答案

计光赫
2023-03-14

您在第3步中指定的输出路径应该包含您的结果(从您的描述来看,它是s3n://bucketname/out/)

如果没有,说明您的蜂巢脚本出了问题。如果您的配置单元作业失败,您将在jobtracker日志中找到有关失败/异常的信息。jobtracker日志存在于 /daemons/ /hadoop-hadoop-jobTracker- .log

日志目录中只有一个文件具有上述格式的S3键。此文件将包含可能发生的任何异常。您可能希望将注意力集中在文件的底端。

 类似资料:
  • 在我当前的项目中,我的目标是从AWS S3 bucket访问视频文件(在)。我已经创建了S3 bucket,名为。这是一个具有以下权限的公用文件夹(如下所示)。 bucket的访问控制列表(ACL)如下: 现在,桶""包含许多子文件夹(或子桶),包括一个名为""的子文件夹。这个子桶包含一些文件(如下图所示)。 我的问题是,当我单击其时,浏览器可以直接访问一些文件(如和)。我可以在浏览器中播放它们。

  • 指定文档设置选项 可以随时更改文档的默认设置选项,如度量单位、透明度网格显示、背景颜色和文字设置(例如,语言、引号样式、上标和下标大小、出血以及可导出性)。单击“编辑画板”按钮可关闭此对话框并激活画板工具。 选取“文件”>“文档设置”或单击“控制”面板中的“文档设置”按钮。(当未选择任何内容时,此按钮可用。) 根据需要指定选项。 如需要编辑画板(例如,要将纵向更改为横向),请单击“编辑画板”以进入

  • 我正在用Minikube在库伯内特斯运行一个红宝石应用程序。 然而,每当我查看日志时,我都看不到在本地运行应用程序时在终端中看到的输出。 我想这是因为它只显示stderr? 如何查看所有类型的控制台日志(例如,从或)? 环顾四周,这与它处于分离模式有关吗?请参阅与Python相关的问题:Kubernetes Pod中的日志未显示 谢谢 = 根据要求-这是deployment.yaml

  • 在从动态队列(ActiveMQ)(挂起的消息=1000)读取消息时,我已经确认了每条消息,现在退出队列的消息数=1000。 有没有办法将所有出列的消息再次放入队列中。任何物理备份所有消息的解决方案。 提前感谢

  • 我正在使用Amazon S3将文件上传到不同的文件夹。所有文件夹和文件都是公开的,任何人都可以看到。我创建了一个私人文件夹,我想把私人图像放在那里,这样只有我可以看到它们。我已经创建了一个桶策略规则,将拒绝访问该文件夹。但是我怎么才能看到文件呢?有没有这样的特殊链接https://s3.amazonaws.com/bucket/private_folder/file.jpg?secret_key=

  • 问题内容: 我有如下代码: 我想查看列标题名称。我尝试使用此代码,但看不到名称。我想知道怎么做吗? 另外,我也想设置来自的单元格值。 问题答案: 列名称直到您添加到a 后才会显示,就像在教程中显示的那样。