Hive与Spark在执行上的差异

Question

大家：我在找一个有更多知识的人来检查我对蜂巢和火花的理解

我一直在研究不同的大型数据库解决方案，并试图理解Hive和Spark在执行方面的差异。我尝试安装Hadoop、Hive和Spark，看看它们的性能如何。我能够让Hadoop和Spark工作。我无法让Hive去工作。

Answer 1

Tez上的Hive和Spark都使用Ram（内存）对数据进行操作。计算的分区数量将被视为单独的任务，这将与Tez上的Hive vs Spark大不相同。默认情况下，Tez上的Hive尝试使用组合器将某些拆分合并到单个分区中。Hive one Tez似乎比spark更好地处理集群的自动伸缩，并且大部分时间都能工作。spark不能使用自动伸缩，它会有很多洗牌错误，当有多个阶段时会失败。但是给定固定大小的集群，Spark在TEZ上似乎比Hive表现得更好，这可以归因于所做的一些优化，以及如何实现洗牌、序列化等。