当前位置: 首页 > 知识库问答 >
问题:

了解配置单元MR输出

戚浩淼
2023-03-14

当我运行一个Hive语句并启动相应的MR作业时,它通常有如下一行:

  1. 数字1280804751,279261996966是什么单位?字节?街区?有没有办法将它们转换为人类可读的格式?
  2. “花费的MapReduce CPU总时间”是什么意思?“累计CPU”是什么意思?

共有1个答案

陆俊智
2023-03-14

>

  • HDFS ReadHDFS Write值以字节为单位。

    cumulative CPU是该阶段的MapReduce作业的所有任务的总CPU时间。total MapReduce CPU Time Spended是查询所有阶段的总CPU时间。在您的示例中,只有一个阶段,因此两个值具有相同的持续时间。

  •  类似资料:
    • 我在java中开发了一个工作正常的配置单元udf,我的函数返回输入与配置单元表中列之间的最佳匹配,因此它有以下简化的伪代码: 我的问题是,如果这个函数是由Hive调用的,为什么我需要在代码中连接到Hive?我可以使用使用我的功能的用户所连接的当前连接吗?

    • 我使用Hortonworks Hadoop HDP-2.3.2.0-2950 Hive over Tez引擎 下面2个查询来自Java代码。 ——运行良好 ——失败并出现错误 我的代码:

    • 我们正试图在Linux服务器上启动hive元存储,但我们面临一个问题。如果我们尝试使用以下命令启动配置单元元存储服务: sudo hive服务转移 我们会遇到很多这样的错误: 原因:java.sql。SQLException:拒绝用户“hive”@“sandbox.hortonworks的访问。com“(使用密码:YES)在com.mysql.jdbc.SQLError.createSQLExce

    • 我们有配置了FreeIPA的HDP-2.2集群。但当我们试图通过knox访问HiveJDBC时,我们面临着一个问题。以下是我们正在使用的JDBC URI: jdbc: hive2://xxxxxxxxx: 8443/; ssl=true; sslTrustStore=/var/lib/Knox/data/Security/keystore/gateway.jks; Trust StorePassw

    • 我试图从以下链接执行示例: http://www.cloudera.com/content/cloudera/en/documentation/CDH4/v4-2-0/CDH4-installation-guide/CDH4IG_Topic_19_6.html $hcatjar=$hcat_home/share/hcatalog/hcatalog-core-0.11.0.jar $hcatpigj

    • 添加/home/cloudera/date.jar到类路径添加资源:/home/cloudera/date.jar 请有人帮帮我,因为我是新来蜂巢的。有人能告诉我要遵循的步骤吗