当前位置: 首页 > 知识库问答 >
问题:

Hadoop-common、Hadoop-core和Hadoop-Client之间的区别?

叶英哲
2023-03-14

顺便说一下,对于给定的类,我如何知道Maven中哪个工件包含它?例如,哪个包含org.apache.hadoop.io.text?

共有1个答案

赫连方伟
2023-03-14

为了帮助提供一些关于Hadoop-common、Hadoop-core和Hadoop-client之间差异的更多细节,从高级的角度来看:

  • hadoop-common指的是支持Hadoop模块的常用实用程序和库。
  • hadoop-core与hadoop-common相同;2009年7月,它被重命名为Hadoop-common,请访问https://hadoop.apache.org/。
  • hadoop-client是指用于与Hadoop的通用组件(HDFS、MapReduce、YARN)通信的客户端库,包括但不限于日志记录和编解码器。

一般来说,对于构建提交到YARN的应用程序、运行MR作业或从HDFS访问文件的开发人员来说,使用Hadoop-client库。

 类似资料:
  • 本文向大家介绍Hadoop 1和Hadoop 2之间的区别,包括了Hadoop 1和Hadoop 2之间的区别的使用技巧和注意事项,需要的朋友参考一下 我们知道,为了维护大数据并以不同的方式从此数据获取相应的报告,我们使用了Hadoop,它是Apache Software Foundation基于Java编程语言的开源框架。 现在,Apache引入了名为Hadoop 2的下一个Hadoop版本,因

  • 我正在使用Maven构建一个Hadoop项目,并在http://search.Maven.org/中搜索依赖项。 Hadoop-common的结果只包括版本0.2x和2.x,那么版本1.x呢? 希望得到详细的解释。

  • Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughpu

  • 为了学习,我正在4节点集群上安装Hadoop2.9.0。我已经按照Apache Hadoop 2.9.0的官方文档和一些google页面开始了namenode的安装/配置。 我编辑了位于$hadoop_home/etc/hadoop目录下的hdfs-site.xml,如下所示: 当我运行“hadoop namenode-format”时,它在/tmp/hadoop-hadoop/...下格式化默认

  • 一、背景 1、起源 MapReduce编程模型的思想来源于函数式编程语言Lisp,由Google公司于2004年提出并首先应用于大型集群。同时,Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。在2007年,Google’s MapReduce Programming Model-Revisted论文发表,进一步详细介绍了Google MapReduce模型以及S

  • 到目前为止,我做了一些研究和ACC。据我所知,Hadoop在HDFS中提供了处理原始数据块(文件)的框架,而HBase是Hadoop之上的数据库引擎,它基本上处理结构化数据而不是原始数据块。Hbase在HDFS上提供了一个逻辑层,就像SQL一样。正确吗?