当前位置: 首页 > 面试题库 >

hadoop 相关的平台有哪些?

关玮
2023-03-14
本文向大家介绍hadoop 相关的平台有哪些?相关面试题,主要包含被问及hadoop 相关的平台有哪些?时的应答技巧和注意事项,需要的朋友参考一下

img

现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

如图,最下面一层就是hadoop的核心代码,核心代码之上实现了两个最核心的功能:MapReduce和HDFS,这是hadoop的两大支柱!因为hadoop是Java写的,为了方便其他对Java语言不熟悉的程序员,在这之上又有Pig,这是一个轻量级的语言,用户可以使用Pig用于数据分析和处理,系统会自动把它转化为MapReduce程序。

还有一个Hive,这是一个传统的SQL到MapReduce的映射器,面向传统的数据库工程师。但是不支持全部SQL。还有一个子项目叫HBase,一个非关系数据库,NoSQL数据库,数据是列存储的,提高响应速度,减少IO量,可以做成分布式集群。

ZooKeeper负责服务器节点和进程间的通信,是一个协调工具,因为Hadoop的几乎每个子项目都是用动物做logo,故这个协调软件叫动物园管理员。

  • hdfs:
  • zookeeper:
  • YARN(Yet Another Resource Nagotiator,又一资源定位器):用于作业调度和集群资源管理的框架
 类似资料:
  • 本文向大家介绍流行的区块链平台有哪些?相关面试题,主要包含被问及流行的区块链平台有哪些?时的应答技巧和注意事项,需要的朋友参考一下 回答:** 流行的区块链平台如下: 区块链平台 共识算法 分类帐类型 管治 以太坊 工作证明 不允许 以太坊开发人员 超级账本锯齿 可插拔框架 允许的 Linux基金会 超级账本面料 可插拔框架 允许的 Linux基金会 超级账本Iroha 基于链的拜占庭容错 允许的

  • 请谁能帮助我确定哪些CMS这些网站正在使用?我如何为自己建立同样的博客。我该用哪种技术。 网站链接:https://www.creativebloq.com/https://www.pcgamer.com/

  • 本文向大家介绍HTML5图像相关的标签有哪些?相关面试题,主要包含被问及HTML5图像相关的标签有哪些?时的应答技巧和注意事项,需要的朋友参考一下 最常用的就是 img 标签了。 map 和 area 创建点击热点,可参考张鑫旭老师的文章: https://www.zhangxinxu.com/wordpress/2017/05/html-area-map/ audio 音频标签,video 媒体

  • 问题内容: 我想在多个平台(包括Mac OS)上运行程序,所以我尝试使其尽可能独立于平台。我自己使用Windows,并且一行。这对我有效,但在其他平台上无效(我阅读了文档,但尚未为自己进行测试)。 是否有适用于所有平台的等效产品? 顺便说一句,该文件是一个文件,但是我希望用户能够使用其标准媒体播放器,以便他们可以暂停/倒带该文件。这就是为什么我使用。我也许可以使用允许播放/暂停/快退媒体文件的库。

  • 本文向大家介绍数据库操作的相关类有哪些?相关面试题,主要包含被问及数据库操作的相关类有哪些?时的应答技巧和注意事项,需要的朋友参考一下 特定类:Connection,Command,CommandBuilder,DataAdapter,DataReader,Parameter,Transaction 共享类:DataSet,DataTable,DataRow,DataColumn,DataReal

  • 问题内容: 我目前正在运行 CentO 的服务器上配置hadoop 。运行或时,出现以下错误: WARN util.NativeCodeLoader:无法为您的平台加载本地hadoop库…在适当情况下使用内置java类 我正在运行 Hadoop 2.2.0。 在线进行搜索会显示以下链接:http : //balanceandbreath.blogspot.ca/2013/01/utilnative