当前位置: 首页 > 知识库问答 >
问题:

关于Hadoop和Hive和Presto的问题

仲孙翔飞
2023-03-14

我正在考虑在Hadoop集群上使用Hive,然后使用Presto对Hadoop中存储的数据进行一些分析,但我仍然对一些事情感到困惑:

    文件
  • 存储在Hadoop(某种文件管理器)中
  • Hive 需要表来存储来自 Hadoop 的数据(数据管理器)
      Hadoop和Hive
    • 是分开存储数据,还是Hive只使用Hadoop中的文件?(在硬盘空间等方面?-

    提前感谢您回答我的问题:)

共有1个答案

濮阳唯
2023-03-14

首先:文件存储在分布式文件系统(HDFS)中。这就是你所说的数据管理器吗?

实际上,Hive既可以使用HDFS中的“常规”文件,也可以使用在特殊数据存储区(称为仓库)中存储了附加元数据的“常规”文件。

关于Presto,它内置了对Hive元存储的支持,但您也可以为任何数据源编写自己的连接器插件。

请在此处阅读有关 Hive 连接器配置的详细信息,并在此处阅读有关连接器插件的详细信息。

 类似资料:
  • 问题内容: 我一直在思考环境变量,并有一些问题/观察。 此呼叫似乎存在致命缺陷。因为它不会复制传递的字符串,所以您不能使用本地调用它,并且不能保证分配给堆的字符串不会被覆盖或意外删除。此外(尽管我尚未测试过),因为环境变量的一种用法是将值传递给孩子的环境,如果孩子调用其中一个功能,这似乎毫无用处。我说错了吗? Linux手册页指示glibc 2.0-2.1.1放弃了上述行为,并开始复制字符串,但这

  • 本文向大家介绍关于Angular.js和Angular的问题相关面试题,主要包含被问及关于Angular.js和Angular的问题时的应答技巧和注意事项,需要的朋友参考一下 haizlin,你好,我想提一个建议。由于Angular和Angular.js是2个不同的框架,我建议要么将该Issue改为Angular面试题模版,要么新建一个Angular面试题模版。

  • 刚开始学习java大约一个月,我有几个关于arraylist和oop的问题 这个arraylist允许我将字符串添加到列表中并存储它,但是如果我有一个类调用簿呢 这三者有什么区别?假设我有大量的输入,比如文件 我有一个班级运动 我该怎么做呢?所以我用许多参数来添加这些输入,因为如果我想添加,我通常会这样做 我也会去

  • 想改进这个问题吗?更新问题,使其仅通过编辑这篇文章来关注一个问题。 刚开始学习java大约一个月,我对arraylist和oop有几个问题 这个arraylist允许我将字符串添加到列表中并存储它,但是如果我有一个类调用簿呢 这三者有什么区别?假设我有大量的输入,比如文件 我有一个班级运动 我该怎么做呢?所以我用许多参数来添加这些输入,因为如果我想添加,我通常会这样做 我也会去

  • 一、环境 1、Hadoop 0.20.2 2、Hive 0.5.0 3、JDK 1.6 4、操作系统:Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、注意事项 1、关于数字类型支持的位数 类型 支持数字位数 tinyint 3位数字 smallint

  • 问题内容: 我在Mac上的终端机中,正在学习如何打开,关闭,读取,删除文件。 当我设定 然后点击内容删除。 但是,当我这样做时,它不会在文本文件中更新。它只会在我执行后更新。 我想知道为什么会这样(我认为应该删除文本!)?为什么输入时文本编辑器不会自动更新? 问题答案: 写入Python进程自己的缓冲区(类似于C函数)。但是,直到调用或或缓冲区填满时,数据才真正刷新到OS缓冲区中。完成此操作后,数

  • 所以我安装了pip-install-django-haystack或者我的项目virtualenv文件夹中的任何命令,我也安装了solr,但是现在我对该怎么做有些困惑。 我一直收到一个错误,说solr后端需要安装pysolr?我不知道我在哪里运行这个命令?“/manage.py build\u solr\u schema” 我一直试图参考《草垛指南》,但它有点模糊。请帮帮我!!谢谢